У п’ятницю дослідники з NVIDIA анонсували Magic3D – модель штучного інтелекту, яка може генерувати 3D-моделі з текстових описів. Після введення підказки, наприклад, «Блакитна жаба з отруйним дротиком, що сидить на водяній лілії», Magic3D генерує тривимірну сітчасту модель, укомплектовану кольоровою текстурою, приблизно за 40 хвилин. З модифікаціями отримана модель може бути використана у відеоіграх або художніх сценах у форматі CGI.
У своїй науковій статті NVIDIA розглядає Magic3D як відповідь на DreamFusion, модель перетворення тексту в 3D, яку дослідники Google анонсували у вересні. Подібно до того, як DreamFusion використовує модель «текст-зображення» для створення 2D зображення, яке потім оптимізується в об’ємні дані NeRF (Neural radiance field), Magic3D використовує двоетапний процес, який бере грубу модель, створену в низькій роздільній здатності, і оптимізує її до вищої роздільної здатності. За словами авторів статті, отриманий метод Magic3D може генерувати тривимірні об’єкти вдвічі швидше, ніж DreamFusion.
Magic3D також може виконувати оперативне редагування 3D-сіток. При наявності 3D-моделі з низькою роздільною здатністю і базової підказки можна змінювати текст для зміни отриманої моделі. Також автори Magic3D демонструють збереження одного і того ж сюжету протягом декількох поколінь (концепція, яку часто називають когерентністю) і застосування стилю 2D-зображення (наприклад, кубістичної картини) до 3D-моделі.
NVIDIA не випустила жодного коду Magic3D разом зі своєю науковою роботою.
Можливість генерувати 3D з тексту здається природною еволюцією в сучасних дифузійних моделях, які використовують нейронні мережі для синтезу нового контенту після інтенсивного навчання на масиві даних. Лише у 2022 році ми стали свідками появи потужних моделей перетворення тексту в зображення, таких як DALL-E та Stable Diffusion, а також рудиментарних генераторів тексту у відео від Google та Meta.
Що стосується Magic3D, то дослідники, які стоять за нею, сподіваються, що вона дозволить будь-кому створювати 3D-моделі без необхідності спеціальної підготовки. Після доопрацювання отримана технологія може прискорити розробку відеоігор (і віртуальної реальності) і, можливо, врешті-решт знайде застосування в спецефектах для кіно і телебачення. Наприкінці своєї статті вони пишуть: «Ми сподіваємося, що за допомогою Magic3D ми зможемо демократизувати 3D-синтез і відкрити творчий потенціал кожного у створенні 3D-контенту».
Ви можете допомогти Україні боротися з російськими окупантами. Найкращий спосіб зробити це – пожертвувати кошти Збройним Силам України через Savelife або через офіційну сторінку НБУ.
Читайте також:
- У Швеції навчилися друкувати мікроелектроніку на 3D-принтерах
- Пил можна використовувати для 3D-друку на Марсі