U petak su istraživači iz NVIDIA najavio je Magic3D - model umjetne inteligencije koji može generirati 3D modele iz tekstualnih opisa. Nakon unosa traga, kao što je "Plava otrovna žaba sa strelicom koja sjedi na lokvanju", Magic3D generiše 40D mrežasti model sa teksturom u boji za oko XNUMX minuta. Uz modifikacije, rezultirajući model se može koristiti u video igrama ili umjetničkim scenama u CGI formatu.
U svom naučnom članku NVIDIA vidi Magic3D kao odgovor na DreamFusion, model text-to-3D koji su Google istraživači najavili u septembru. Baš kao što DreamFusion koristi model text-to-image za kreiranje 2D slike koja se zatim optimizuje u volumetrijske podatke NeRF (Neural radiance field), Magic3D koristi proces u dva koraka koji uzima grubi model kreiran pri niskoj rezoluciji i optimizuje ga za višoj rezoluciji. Prema autorima članka, rezultirajuća metoda Magic3D može generirati trodimenzionalne objekte dvostruko brže nego DreamFusion.
Magic3D također može izvršiti uređivanje 3D mreža u hodu. Uz 3D model niske rezolucije i osnovni opis alata, možete promijeniti tekst da biste promijenili rezultirajući model. Magic3D takođe demonstrira očuvanje iste radnje tokom nekoliko generacija (koncept koji se često naziva koherentnost) i primenu 2D stila slike (kao što je kubistička slika) na 3D model.
NVIDIA nije objavila nikakav Magic3D kod sa svojim istraživačkim radom.
Sposobnost generiranja 3D iz teksta čini se prirodnom evolucijom u modernim modelima difuzije, koji koriste neuronske mreže za sintetizaciju novog sadržaja nakon intenzivne obuke na nizu podataka. Tek 2022. godine vidjeli smo pojavu moćnih modela teksta u sliku kao što su DALL-E i Stable Diffusion, kao i rudimentarne generatore teksta u video od Google-a i Meta.
Što se tiče Magic3D-a, istraživači koji stoje iza njega se nadaju da će omogućiti svakome da kreira 3D modele bez potrebe za posebnom obukom. Jednom usavršena, rezultirajuća tehnologija mogla bi ubrzati razvoj video igara (i virtuelne stvarnosti), te bi na kraju mogla naći upotrebu u specijalnim efektima za film i televiziju. Na kraju svog članka pišu: "Nadamo se da sa Magic3D možemo demokratizirati 3D sintezu i otključati svačiji kreativni potencijal u kreiranju 3D sadržaja."
Možete pomoći Ukrajini u borbi protiv ruskih osvajača. Najbolji način da to učinite je da donirate sredstva Oružanim snagama Ukrajine putem Savelife ili preko službene stranice NBU.
Pročitajte također:
- U Švedskoj su naučili kako da štampaju mikroelektroniku na 3D štampačima
- Prašina se može koristiti za 3D štampanje na Marsu