På fredagen har forskare från NVIDIA tillkännagav Magic3D - en artificiell intelligensmodell som kan generera 3D-modeller från textbeskrivningar. Efter att ha matat in en ledtråd, till exempel "En blå pilgiftsgroda som sitter på en näckros", genererar Magic3D en 40D-nätmodell komplett med färgstruktur på cirka XNUMX minuter. Med modifieringar kan den resulterande modellen användas i videospel eller konstscener i CGI-format.
I sin vetenskapliga artikel NVIDIA ser Magic3D som ett svar på DreamFusion, text-to-3D-modellen som Googles forskare tillkännagav i september. Precis som DreamFusion använder en text-till-bild-modell för att skapa en 2D-bild som sedan optimeras till volymetrisk NeRF (Neural radiance field) data, använder Magic3D en tvåstegsprocess som tar en grov modell skapad med låg upplösning och optimerar den för att en högre upplösning. Enligt artikelförfattarna kan den resulterande Magic3D-metoden generera tredimensionella objekt dubbelt så snabbt som DreamFusion.
Magic3D kan också utföra on-the-fly redigering av 3D-nät. Med en lågupplöst 3D-modell och ett grundläggande verktygstips kan du ändra texten för att ändra den resulterande modellen. Magic3D demonstrerar också bevarandet av samma handling under flera generationer (ett koncept som ofta kallas koherens) och tillämpningen av en 2D-bildstil (som en kubistisk målning) på en 3D-modell.
NVIDIA släppte inte någon Magic3D-kod med sin forskningsartikel.
Möjligheten att generera 3D från text verkar vara en naturlig utveckling i moderna diffusionsmodeller, som använder neurala nätverk för att syntetisera nytt innehåll efter intensiv träning på en mängd data. Det var inte förrän 2022 som vi såg uppkomsten av kraftfulla text-till-bild-modeller som DALL-E och Stable Diffusion, såväl som rudimentära text-till-video-generatorer från Google och Meta.
När det gäller Magic3D hoppas forskarna bakom att det kommer att tillåta vem som helst att skapa 3D-modeller utan att behöva specialutbildning. När den väl förfinats kan den resulterande tekniken påskynda utvecklingen av videospel (och virtuell verklighet) och kan så småningom komma till användning i specialeffekter för film och tv. I slutet av sin artikel skriver de: "Vi hoppas att vi med Magic3D kan demokratisera 3D-syntes och låsa upp allas kreativa potential i att skapa 3D-innehåll."
Du kan hjälpa Ukraina att slåss mot de ryska inkräktarna. Det bästa sättet att göra detta är att donera medel till Ukrainas väpnade styrkor genom Rädda liv eller via den officiella sidan NBU.
Läs också:
- I Sverige lärde de sig att skriva ut mikroelektronik på 3D-skrivare
- Damm kan användas för 3D-utskrift på Mars