Venerdì, i ricercatori di NVIDIA ha annunciato Magic3D, un modello di intelligenza artificiale in grado di generare modelli 3D da descrizioni testuali. Dopo aver inserito un indizio, ad esempio "Una rana blu con dardo avvelenato seduta su una ninfea", Magic3D genera un modello mesh 40D completo di texture colorata in circa XNUMX minuti. Con modifiche, il modello risultante può essere utilizzato nei videogiochi o nelle scene artistiche in formato CGI.
Nel suo articolo scientifico NVIDIA vede Magic3D come una risposta a DreamFusion, il modello text-to-3D che i ricercatori di Google hanno annunciato a settembre. Proprio come DreamFusion utilizza un modello da testo a immagine per creare un'immagine 2D che viene poi ottimizzata in dati volumetrici NeRF (campo di radianza neurale), Magic3D utilizza un processo in due fasi che prende un modello approssimativo creato a bassa risoluzione e lo ottimizza per una risoluzione più elevata. Secondo gli autori dell'articolo, il metodo Magic3D risultante può generare oggetti tridimensionali due volte più velocemente di DreamFusion.
Magic3D può anche eseguire l'editing al volo di mesh 3D. Con un modello 3D a bassa risoluzione e un suggerimento di base, puoi modificare il testo per cambiare il modello risultante. Magic3D dimostra anche la conservazione della stessa trama per diverse generazioni (un concetto spesso chiamato coerenza) e l'applicazione di uno stile di immagine 2D (come un dipinto cubista) a un modello 3D.
NVIDIA non ha rilasciato alcun codice Magic3D con il suo documento di ricerca.
La capacità di generare 3D dal testo sembra un'evoluzione naturale nei moderni modelli di diffusione, che utilizzano reti neurali per sintetizzare nuovi contenuti dopo un intenso addestramento su una serie di dati. Non è stato fino al 2022 che abbiamo visto l'emergere di potenti modelli di text-to-image come DALL-E e Stable Diffusion, oltre a rudimentali generatori di text-to-video di Google e Meta.
Per quanto riguarda Magic3D, i ricercatori dietro di esso sperano che consentirà a chiunque di creare modelli 3D senza la necessità di una formazione speciale. Una volta perfezionata, la tecnologia risultante potrebbe accelerare lo sviluppo di videogiochi (e realtà virtuale) e potrebbe infine trovare impiego in effetti speciali per film e televisione. Alla fine del loro articolo, scrivono: "Speriamo che con Magic3D possiamo democratizzare la sintesi 3D e sbloccare il potenziale creativo di tutti nella creazione di contenuti 3D".
Puoi aiutare l'Ucraina a combattere contro gli invasori russi. Il modo migliore per farlo è donare fondi alle forze armate ucraine attraverso Salva Vita o tramite la pagina ufficiale NBU.
Leggi anche:
- In Svezia, hanno imparato a stampare microelettronica su stampanti 3D
- La polvere può essere utilizzata per la stampa 3D su Marte