V petek so raziskovalci iz NVIDIA napovedal Magic3D - model umetne inteligence, ki lahko iz besedilnih opisov ustvari 3D modele. Po vnosu namiga, kot je "modra strupena žaba, ki sedi na lokvanju," Magic3D v približno 40 minutah ustvari XNUMXD mrežasti model skupaj z barvno teksturo. S spremembami se lahko nastali model uporablja v video igrah ali umetniških prizorih v formatu CGI.
V svojem znanstvenem članku NVIDIA Magic3D vidi kot odgovor na DreamFusion, model besedila v 3D, ki so ga Googlovi raziskovalci objavili septembra. Tako kot DreamFusion uporablja model besedila v sliko za ustvarjanje 2D slike, ki se nato optimizira v volumetrične podatke NeRF (Neural radiance field), Magic3D uporablja dvostopenjski postopek, ki vzame grobi model, ustvarjen pri nizki ločljivosti, in ga optimizira za višjo ločljivost. Po mnenju avtorjev članka lahko nastala metoda Magic3D ustvari tridimenzionalne predmete dvakrat hitreje kot DreamFusion.
Magic3D lahko izvaja tudi sprotno urejanje 3D mrež. S 3D-modelom nizke ločljivosti in osnovnim opisom orodja lahko spremenite besedilo, da spremenite nastali model. Magic3D prav tako prikazuje ohranjanje iste risbe v več generacijah (koncept, ki se pogosto imenuje koherenca) in uporabo sloga 2D slike (kot je kubistična slika) na 3D modelu.
NVIDIA s svojo raziskovalno nalogo ni izdala nobene kode Magic3D.
Zmožnost generiranja 3D iz besedila se zdi naravna evolucija v sodobnih difuzijskih modelih, ki uporabljajo nevronske mreže za sintetiziranje nove vsebine po intenzivnem usposabljanju na nizu podatkov. Šele leta 2022 smo bili priča pojavu zmogljivih modelov besedila v sliko, kot sta DALL-E in Stable Diffusion, kot tudi osnovnih generatorjev besedila v video iz Googla in Mete.
Kar zadeva Magic3D, raziskovalci, ki stojijo za njim, upajo, da bo vsakomur omogočil ustvarjanje 3D modelov brez potrebe po posebnem usposabljanju. Ko bo dodelana tehnologija lahko pospešila razvoj video iger (in navidezne resničnosti) in se lahko sčasoma uporabi v posebnih učinkih za film in televizijo. Na koncu svojega članka pišejo: "Upamo, da bomo z Magic3D lahko demokratizirali 3D sintezo in sprostili kreativni potencial vseh pri ustvarjanju 3D vsebin."
Lahko pomagate Ukrajini v boju proti ruskim okupatorjem. Najboljši način za to je donacija sredstev oboroženim silam Ukrajine prek Savelife ali preko uradne strani NBU.
Preberite tudi:
- Na Švedskem so se naučili tiskati mikroelektroniko na 3D-tiskalnikih
- Prah se lahko uporablja za 3D tiskanje na Marsu