Point-E: la nueva inteligencia artificial de OpenAI (creadores de ChatGPT) para  modelar en 3D

OpenAI, creadores de ChatGPT y DALL-E, ha lanzado una nueva inteligencia artificial creativa centrada en los modelos 3D. Point-E crea nubes de puntos que representan una forma en 3D a partir de texto o representaciones gráficas (render). La novedades y diferencia con otras herramientas ya existentes es que lo consigue en pocos minutos y, además, necesita un hardware sencillo.

El funcionamiento de Point-E se divide en tres pasos. El punto de partida es un texto (prompt) o una imagen que se introduce. En primer lugar, gracias a un modelo de generación de imágenes, crea una vista sintética relacionada con el texto. Después, con un modelo entrenado con millones de imágenes 3D, crea una nube de 1.024 puntos basada en la imagen anterior y, finalmente, crea una nube de 4.096 puntos. Este proceso dura alrededor de 1 o 2 minutos como máximo. 

Point-E crea modelos en 3D de prácticamente cualquier cosa. Por ejemplo, si queremos un jarrón con flores, podemos introducir el prompt “jarrón con flores” y nos desarrollará el modelo 3D. También podemos introducir una imagen del jarrón con flores, y a partir de allí creará el modelo 3D. Y finalmente, la tercera opción es de texto a imagen a modelo 3D: consiste en introducir el prompt, Point-E generará una imagen y, a partir de esa imagen creará el modelo.

¿Para qué sirve esta IA?

Desde OpenAI explican que la herramienta a veces puede omitir partes del objeto que se quiere modelar, de manera que la forma se distorsiona. Aun así, afirman que “aunque nuestro método sigue estando por debajo de los más avanzados en cuanto a calidad de las muestras, es bastante más rápido, lo que supone una solución práctica para algunos casos.” 

Por ejemplo, la creación de contenidos 3D con inteligencia artificial es útil para aplicaciones de realidad virtual, juegos y diseño industrial. Además, el modelo permite “crear nubes de puntos que pueden usarse para fabricar productos en el mundo real, mediante impresión 3D”, explican los desarrolladores de OpenAI. En Github se encuentra disponible el código fuente del proyecto para probarlo gratuitamente y en Hugging Face se puede probar una demo en línea.

OpenAI explica que Point-E tiene varias limitaciones, “aunque el modelo produce formas tridimensionales en color, lo hace a una resolución baja que no capta la forma ni la textura”. También añaden que Point-E puede servir de punto de partida para futuros trabajos en el campo del texto a 3D.

Otras herramientas que crean modelos 3D

Point-E no es la primera inteligencia artificial capaz de crear modelos 3D. Google desarrolló DreamFusion, una herramienta que genera imágenes tridimensionales a partir de texto. Funciona de forma similar a DALL-E, una IA creativa de OpenAI capaz de generar imágenes a partir de un prompt, pero con la principal diferencia que el resultado es en 3D y se puede ver desde cualquier perspectiva. Sin embargo, DreamFusion puede tardar horas en crear el resultado.