Хоча вчені успішно використовують нейронні мережі для виведення представлених в уяві тривимірних сцен в зображення, ці методи машинного навчання недостатньо швидкі, щоб зробити їх придатними для багатьох реальних програм. Новий метод, продемонстрований дослідниками з Массачусетського технологічного інституту та інших організацій, дозволяє відображати тривимірні сцени із зображень приблизно в 15 000 разів швидше, ніж деякі інші моделі. Про це повідомляє сайт організації.
Фахівці уточнили, що у багатьох сферах життя, наприклад, точній хірургії чи сільському господарстві, потрібна тривимірна візуалізація об’єктів. Як правило, нейромережі одержують двовимірне зображення і на його основі створюють 3D-об’єкт. Вчені MIT заявили, що їх новий метод дозволяє прискорити цей процес приблизно в 15 тисяч разів, у порівнянні з існуючими моделями.
Автори розробки створили мережу світлового поля (LFN), на основі якої штучний інтелект навчився відтворювати тривимірні об’єкти після одноразового спостереження та з частотою кадрів у реальному часі. Даний метод представляє сцену у вигляді світлового поля на 360° та функцію, що описує всі світлові промені в тривимірному просторі, що проходять через кожну точку та у всіх напрямках. Світлове поле кодується у нейронну мережу, що прискорює рендеринг 3D-сцени.
Фахівці протестували модель на кількох сценах. Вони виявили, що за допомогою LFN нейромережа змогла генерувати тривимірні об’єкти з частотою понад 500 кадрів за секунду, що приблизно на три порядки швидше, ніж інші методи. Також вчені уточнили, що нова мережа світлового поля раціональніше використовує ресурси, які вимагають близько 1,6 МБ пам’яті.
«Нейронний рендеринг уможливив фотореалістичний рендеринг та редагування зображень на основі тільки розрідженого набору вхідних зображень. На жаль, усі існуючі методи дуже дорогі з обчислювальної точки зору, що не дозволяє використовувати їх у застосунках, що потребують обробки в реальному часі, наприклад, у відеоконференціях. Цей проєкт робить великий крок до нового покоління обчислювально ефективних та математично елегантних алгоритмів нейронного рендерингу. Я очікую, що він знайде широке застосування у комп’ютерній графіці, комп’ютерному зорі та інших областях», – зазначив учасник дослідження доцент Гордон Ветцштейн. За його словами, нова технологія знайде застосування у комп’ютерній графіці та інших областях.
До речі, наприкінці листопада стало відомо про програму Ricult, яка допомагає фермерам збільшити врожай. Сервіс аналізує зміни погоди, щоб допомогти фермерам Таїланду та Пакистану вибрати найкращий час для посіву агрокультур.
Читайте також: