Vrijdag zeiden onderzoekers van NVIDIA heeft Magic3D aangekondigd - een kunstmatige-intelligentiemodel dat 3D-modellen kan genereren op basis van tekstuele beschrijvingen. Na het invoeren van een aanwijzing, zoals "Een blauwe pijlgifkikker zit op een waterlelie", genereert Magic3D in ongeveer 40 minuten een XNUMXD mesh-model compleet met kleurtextuur. Met aanpassingen kan het resulterende model worden gebruikt in videogames of kunstscènes in CGI-formaat.
In zijn wetenschappelijk artikel NVIDIA ziet Magic3D als een reactie op DreamFusion, het tekst-naar-3D-model dat Google-onderzoekers in september aankondigden. Net zoals DreamFusion een tekst-naar-beeldmodel gebruikt om een 2D-beeld te creëren dat vervolgens wordt geoptimaliseerd tot volumetrische NeRF-gegevens (Neural Radiance Field), gebruikt Magic3D een proces in twee stappen waarbij een ruw model met een lage resolutie wordt geoptimaliseerd om een hogere resolutie. Volgens de auteurs van het artikel kan de resulterende Magic3D-methode twee keer zo snel driedimensionale objecten genereren als DreamFusion.
Magic3D kan ook on-the-fly bewerking van 3D-meshes uitvoeren. Met een 3D-model met een lage resolutie en een eenvoudige tooltip kunt u de tekst wijzigen om het resulterende model te wijzigen. Magic3D demonstreert ook het behoud van dezelfde plot gedurende meerdere generaties (een concept dat vaak coherentie wordt genoemd) en de toepassing van een 2D-beeldstijl (zoals een kubistisch schilderij) op een 3D-model.
NVIDIA heeft geen Magic3D-code vrijgegeven met haar onderzoekswerk.
De mogelijkheid om 3D uit tekst te genereren lijkt een natuurlijke evolutie in moderne diffusiemodellen, die neurale netwerken gebruiken om nieuwe inhoud te synthetiseren na intensieve training op een reeks gegevens. Pas in 2022 zagen we de opkomst van krachtige tekst-naar-beeld-modellen zoals DALL-E en Stable Diffusion, evenals rudimentaire tekst-naar-video-generatoren van Google en Meta.
Wat Magic3D betreft, hopen de onderzoekers erachter dat het iedereen in staat zal stellen 3D-modellen te maken zonder speciale training. Eenmaal verfijnd, zou de resulterende technologie de ontwikkeling van videogames (en virtual reality) kunnen versnellen en uiteindelijk kunnen worden gebruikt in speciale effecten voor film en televisie. Aan het einde van hun artikel schrijven ze: "We hopen dat we met Magic3D 3D-synthese kunnen democratiseren en ieders creatieve potentieel bij het creëren van 3D-inhoud kunnen ontsluiten."
U kunt Oekraïne helpen vechten tegen de Russische indringers. De beste manier om dit te doen is door geld te doneren aan de strijdkrachten van Oekraïne via Red het leven of via de officiële pagina NBU.
Lees ook:
- In Zweden leerden ze hoe ze micro-elektronica op 3D-printers konden printen
- Stof kan worden gebruikt voor 3D-printen op Mars