Vendredi, des chercheurs de NVIDIA a annoncé Magic3D - un modèle d'intelligence artificielle capable de générer des modèles 3D à partir de descriptions textuelles. Après avoir saisi un indice, tel que « Une grenouille empoisonnée bleue assise sur un nénuphar », Magic3D génère un modèle de maillage 40D avec une texture de couleur en XNUMX minutes environ. Avec des modifications, le modèle résultant peut être utilisé dans des jeux vidéo ou des scènes artistiques au format CGI.
Dans son article scientifique NVIDIA considère Magic3D comme une réponse à DreamFusion, le modèle de conversion texte-3D annoncé par les chercheurs de Google en septembre. Tout comme DreamFusion utilise un modèle texte-image pour créer une image 2D qui est ensuite optimisée en données volumétriques NeRF (Neural radiance field), Magic3D utilise un processus en deux étapes qui prend un modèle approximatif créé à basse résolution et l'optimise pour une résolution plus élevée. Selon les auteurs de l'article, la méthode Magic3D qui en résulte peut générer des objets tridimensionnels deux fois plus rapidement que DreamFusion.
Magic3D peut également effectuer une édition à la volée des maillages 3D. Avec un modèle 3D basse résolution et une info-bulle de base, vous pouvez modifier le texte pour modifier le modèle résultant. Magic3D démontre également la préservation d'un même tracé sur plusieurs générations (un concept souvent appelé cohérence) et l'application d'un style d'image 2D (comme une peinture cubiste) à un modèle 3D.
NVIDIA n'a publié aucun code Magic3D avec ses travaux de recherche.
La capacité de générer de la 3D à partir de texte semble une évolution naturelle dans les modèles de diffusion modernes, qui utilisent des réseaux de neurones pour synthétiser de nouveaux contenus après un entraînement intensif sur un ensemble de données. Ce n'est qu'en 2022 que nous avons vu l'émergence de puissants modèles de texte à image tels que DALL-E et Stable Diffusion, ainsi que des générateurs de texte à vidéo rudimentaires de Google et Meta.
Quant à Magic3D, les chercheurs à l'origine espèrent qu'il permettra à quiconque de créer des modèles 3D sans avoir besoin d'une formation particulière. Une fois affinée, la technologie résultante pourrait accélérer le développement des jeux vidéo (et de la réalité virtuelle) et pourrait éventuellement être utilisée dans les effets spéciaux pour le cinéma et la télévision. À la fin de leur article, ils écrivent : "Nous espérons qu'avec Magic3D nous pourrons démocratiser la synthèse 3D et libérer le potentiel créatif de chacun dans la création de contenu 3D."
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.
Lisez aussi:
- En Suède, ils ont appris à imprimer de la microélectronique sur des imprimantes 3D
- La poussière peut être utilisée pour l'impression 3D sur Mars