Дослідники з Adobe та Австралійського національного університету розробили алгоритм, що перетворює двомірні зображення на тривимірні моделі всього за 5 секунд. Цей прорив обіцяє революціонізувати створення контенту в дизайні та розвагах, хоча варто остерігатися можливих проблем із розмитими текстурами та порушеннями авторських прав.
Новий алгоритм, названий Великою моделлю реконструкції (Large Reconstruction Model або LRM), став значним прогресом у швидкому створенні тривимірних моделей на основі одного зображення. Алгоритм, навчений на великому наборі даних із близько мільйона тривимірних об’єктів, доступних у базах Objaverse і MVImgNet, продемонстрував виняткову здатність до узагальнення під час роботи з різноманітними зображеннями при створенні 3D-контенту.
На відміну від попередніх моделей, навчених на обмежених наборах даних із фокусом на одну категорію зображень, LRM використовує трансформерну архітектуру, що стала основою для безлічі розробок у сфері глибокого навчання, з 500 млн параметрів. Це дає змогу ШІ-моделі ефективно працювати з різноманітними типами зображень, включно з фотографіями з реального світу і візуальними колажами, створеними іншими ШІ-сервісами, як-от DALL-E і Stable Diffusion.
Іцонг Хонг, провідний автор дослідження, наголосив, що LRM є значним проривом у галузі тривимірної реконструкції. Алгоритм здатний відтворювати детальну геометрію і складні текстури, наприклад, текстуру дерева, зберігаючи при цьому якість і точність.
Застосування LRM може стати воістину масштабним, від дизайну і розваг до ігрової індустрії. Для дизайнерів і 3D-художників це означає прискорення процесу створення моделей, що особливо важливо при розробці відеоігор і анімації. Крім того, можливість використання LRM звичайними користувачами обіцяє зробити 3D-моделювання прерогативою не тільки професіоналів. Тепер створювати деталізовані моделі можна буде навіть з фотографій, зроблених на смартфоні.
Проте, у LRM є свої обмеження, такі як розмитість текстур у прихованих ділянках зображення. Також варто враховувати питання авторських прав, особливо в контексті використання зображень, створених іншими ШІ-сервісами. Для демонстрації можливостей LRM дослідники Adobe створили сторінку з відеодемонстраціями та інтерактивними 3D-моделями. Це підкреслює зростаючу роль ШІ в сучасному світі та його потенційний вплив на майбутнє креативних галузей.
Читайте також: