В петък изследователи от NVIDIA обяви Magic3D - модел с изкуствен интелект, който може да генерира 3D модели от текстови описания. След въвеждане на следа, като например „Синя жаба с отровна стрела, седяща на водна лилия,“ Magic3D генерира 40D мрежест модел, пълен с цветна текстура, за около XNUMX минути. С модификации, полученият модел може да се използва във видео игри или арт сцени в CGI формат.
В своята научна статия NVIDIA вижда Magic3D като отговор на DreamFusion, моделът за преобразуване на текст в 3D, който изследователите на Google обявиха през септември. Точно както DreamFusion използва модел текст към изображение, за да създаде 2D изображение, което след това се оптимизира в обемни данни NeRF (Neural radiance field), Magic3D използва процес от две стъпки, който взема груб модел, създаден с ниска разделителна способност, и го оптимизира за по-висока резолюция. Според авторите на статията полученият метод Magic3D може да генерира триизмерни обекти два пъти по-бързо от DreamFusion.
Magic3D може също така да извършва редактиране в движение на 3D мрежи. С 3D модел с ниска разделителна способност и основна подсказка можете да промените текста, за да промените получения модел. Magic3D също демонстрира запазването на един и същ сюжет в продължение на няколко поколения (концепция, често наричана кохерентност) и прилагането на 2D стил на изображение (като кубистична картина) към 3D модел.
NVIDIA не пусна никакъв Magic3D код с изследователската си статия.
Възможността за генериране на 3D от текст изглежда естествена еволюция в съвременните дифузионни модели, които използват невронни мрежи за синтезиране на ново съдържание след интензивно обучение върху масив от данни. Едва през 2022 г. видяхме появата на мощни модели за текст към изображение като DALL-E и Stable Diffusion, както и елементарни генератори за текст към видео от Google и Meta.
Що се отнася до Magic3D, изследователите зад него се надяват, че ще позволи на всеки да създава 3D модели без необходимост от специално обучение. Веднъж усъвършенствана, получената технология може да ускори развитието на видеоигрите (и виртуалната реалност) и в крайна сметка може да намери приложение в специални ефекти за филми и телевизия. В края на статията си те пишат: „Надяваме се, че с Magic3D можем да демократизираме 3D синтеза и да отключим творческия потенциал на всеки при създаването на 3D съдържание.“
Можете да помогнете на Украйна да се бори срещу руските нашественици. Най-добрият начин да направите това е да дарите средства на въоръжените сили на Украйна чрез Savelife или през официалната страница НБУ.
Прочетете също:
- В Швеция се научиха как да печатат микроелектроника на 3D принтери
- Прахът може да се използва за 3D печат на Марс