El viernes, los investigadores de NVIDIA anunciaron Magic3D , un modelo de inteligencia artificial que puede generar modelos 3D a partir de descripciones textuales. Después de ingresar una pista, como “Una rana dardo venenosa azul sentada en un nenúfar”, Magic3D genera un modelo de malla 3D completo con textura de color en aproximadamente 40 minutos. Con modificaciones, el modelo resultante se puede usar en videojuegos o escenas de arte en formato CGI.
En su trabajo de investigación, NVIDIA ve Magic3D como una respuesta a DreamFusion, el modelo de texto a 3D que los investigadores de Google anunciaron en septiembre. Así como DreamFusion usa un modelo de texto a imagen para crear una imagen 2D que luego se optimiza en datos volumétricos NeRF (campo de radiación neuronal), Magic3D usa un proceso de dos pasos que toma un modelo aproximado creado a baja resolución y lo optimiza para una resolución más alta. Según los autores del artículo, el método Magic3D resultante puede generar objetos tridimensionales el doble de rápido que DreamFusion.
Magic3D también puede realizar la edición sobre la marcha de mallas 3D. Con un modelo 3D de baja resolución y una información sobre herramientas básica, puede cambiar el texto para cambiar el modelo resultante. Magic3D también demuestra la preservación de la misma trama durante varias generaciones (un concepto a menudo llamado coherencia) y la aplicación de un estilo de imagen 2D (como una pintura cubista) a un modelo 3D.
NVIDIA no ha publicado ningún código Magic3D con su trabajo de investigación.
La capacidad de generar 3D a partir de texto parece una evolución natural en los modelos de difusión modernos, que utilizan redes neuronales para sintetizar contenido nuevo después de un entrenamiento intensivo en una matriz de datos. No fue hasta 2022 que vimos el surgimiento de poderosos modelos de texto a imagen como DALL-E y Stable Diffusion, así como generadores rudimentarios de texto a video de Google y Meta.
En cuanto a Magic3D, los investigadores que lo respaldan esperan que permita a cualquier persona crear modelos 3D sin necesidad de capacitación especial. Una vez refinada, la tecnología resultante podría acelerar el desarrollo de los videojuegos (y la realidad virtual) y eventualmente encontrar uso en efectos especiales para cine y televisión. Al final de su artículo, escriben: “Esperamos que con Magic3D podamos democratizar la síntesis 3D y desbloquear el potencial creativo de todos en la creación de contenido 3D”.
Aquí te dejamos una lista de noticias que de seguro vas a querer leer:
- Artemis I: Todo lo que necesitas saber sobre la histórica misión de la NASA a la Luna.
- Armas de la victoria ucraniana: Vehículo Blindado MRAP Kirpi.