Na sexta-feira, pesquisadores do NVIDIA anunciou Magic3D – um modelo de inteligência artificial que pode gerar modelos 3D a partir de descrições textuais. Depois de inserir uma pista, como "Um sapo venenoso azul sentado em um nenúfar", o Magic3D gera um modelo de malha 40D completo com textura colorida em cerca de XNUMX minutos. Com modificações, o modelo resultante pode ser utilizado em videogames ou cenas artísticas em formato CGI.
Em seu artigo científico NVIDIA vê o Magic3D como uma resposta ao DreamFusion, o modelo de texto para 3D que os pesquisadores do Google anunciaram em setembro. Assim como o DreamFusion usa um modelo de texto para imagem para criar uma imagem 2D que é então otimizada em dados volumétricos de NeRF (campo de radiância neural), o Magic3D usa um processo de duas etapas que pega um modelo aproximado criado em baixa resolução e o otimiza para uma resolução mais alta. Segundo os autores do artigo, o método Magic3D resultante pode gerar objetos tridimensionais duas vezes mais rápido que o DreamFusion.
Magic3D também pode realizar edição instantânea de malhas 3D. Com um modelo 3D de baixa resolução e uma dica de ferramenta básica, você pode alterar o texto para alterar o modelo resultante. Magic3D também demonstra a preservação do mesmo enredo ao longo de várias gerações (um conceito geralmente chamado de coerência) e a aplicação de um estilo de imagem 2D (como uma pintura cubista) a um modelo 3D.
NVIDIA não divulgou nenhum código Magic3D com seu trabalho de pesquisa.
A capacidade de gerar 3D a partir de texto parece uma evolução natural nos modelos de difusão modernos, que usam redes neurais para sintetizar novos conteúdos após treinamento intensivo em uma matriz de dados. Não foi até 2022 que vimos o surgimento de poderosos modelos de texto para imagem, como DALL-E e Stable Diffusion, bem como rudimentares geradores de texto para vídeo do Google e Meta.
Quanto ao Magic3D, os pesquisadores por trás dele esperam que ele permita que qualquer pessoa crie modelos 3D sem a necessidade de treinamento especial. Uma vez refinada, a tecnologia resultante pode acelerar o desenvolvimento de videogames (e realidade virtual) e, eventualmente, encontrar uso em efeitos especiais para cinema e televisão. No final do artigo, eles escrevem: "Esperamos que com o Magic3D possamos democratizar a síntese 3D e liberar o potencial criativo de todos na criação de conteúdo 3D".
Você pode ajudar a Ucrânia a lutar contra os invasores russos. A melhor maneira de fazer isso é doar fundos para as Forças Armadas da Ucrânia através Salva vida ou através da página oficial NBU.
Leia também:
- Na Suécia, eles aprenderam a imprimir microeletrônica em impressoras 3D
- Poeira pode ser usada para impressão 3D em Marte