V piatok výskumníci z NVIDIA oznámil Magic3D – model umelej inteligencie, ktorý dokáže generovať 3D modely z textových popisov. Po zadaní vodítka, ako napríklad „modrá jedovatá šípková žaba sediaca na lekna“, Magic3D vygeneruje 40D sieťový model s farebnou textúrou za približne XNUMX minút. S úpravami je možné výsledný model použiť vo videohrách alebo umeleckých scénach vo formáte CGI.
Vo svojom vedeckom článku NVIDIA vníma Magic3D ako odpoveď na DreamFusion, model prevodu textu do 3D, ktorý výskumníci Google oznámili v septembri. Rovnako ako DreamFusion používa model text-to-image na vytvorenie 2D obrazu, ktorý je následne optimalizovaný na objemové dáta NeRF (neurálne radiačné pole), Magic3D využíva dvojkrokový proces, ktorý berie hrubý model vytvorený pri nízkom rozlíšení a optimalizuje ho na vyššie rozlíšenie. Podľa autorov článku dokáže výsledná metóda Magic3D generovať trojrozmerné objekty dvakrát rýchlejšie ako DreamFusion.
Magic3D môže tiež vykonávať úpravy 3D sietí za behu. Pomocou 3D modelu s nízkym rozlíšením a základného tipu môžete zmeniť text a zmeniť tak výsledný model. Magic3D tiež demonštruje zachovanie toho istého pozemku počas niekoľkých generácií (koncept často nazývaný koherencia) a aplikáciu štýlu 2D obrazu (napríklad kubistický obraz) na 3D model.
NVIDIA nezverejnila žiadny kód Magic3D so svojím výskumným dokumentom.
Schopnosť generovať 3D z textu sa javí ako prirodzená evolúcia v moderných difúznych modeloch, ktoré využívajú neurónové siete na syntézu nového obsahu po intenzívnom tréningu na množstve údajov. Až v roku 2022 sme videli vznik výkonných modelov prevodu textu na obrázok, ako sú DALL-E a Stable Diffusion, ako aj základných generátorov prevodu textu na video od Google a Meta.
Čo sa týka Magic3D, výskumníci za ním dúfajú, že umožní komukoľvek vytvárať 3D modely bez potreby špeciálneho školenia. Po zdokonalení by výsledná technológia mohla urýchliť vývoj videohier (a virtuálnej reality) a nakoniec by mohla nájsť využitie v špeciálnych efektoch pre film a televíziu. Na konci svojho článku píšu: "Dúfame, že s Magic3D dokážeme demokratizovať 3D syntézu a odomknúť kreatívny potenciál každého pri vytváraní 3D obsahu."
Môžete pomôcť Ukrajine v boji proti ruským útočníkom. Najlepším spôsobom, ako to urobiť, je darovať finančné prostriedky Ozbrojeným silám Ukrajiny prostredníctvom Zachrániť život alebo cez oficiálnu stránku NBU.
Prečítajte si tiež:
- Vo Švédsku sa naučili tlačiť mikroelektroniku na 3D tlačiarňach
- Prach možno použiť na 3D tlač na Marse