Дослідники з Університету Меріленда перетворили відображення очей на (дещо помітні) 3D-сцени. Робота ґрунтується на нейронних полях випромінювання (NeRF), технології штучного інтелекту, яка може реконструювати оточення з 2D-фотографій. Хоча підхід на основі відображення очей має пройти довгий шлях до практичного застосування, це дослідження дає захоплюючий погляд на технологію, яка в кінцевому підсумку може розкрити оточення за серією простих портретних фотографій.
Команда використовувала тонкі віддзеркалення світла, зафіксовані в людських очах (використовуючи послідовні зображення, зроблені одним сенсором), щоб спробувати розпізнати безпосереднє оточення людини. Вони почали з кількох зображень високої роздільної здатності з фіксованої позиції камери, зафіксувавши рухому людину, яка дивиться в бік камери. Потім вони збільшили відображення, виокремили їх і вирахували, куди дивилися очі на фотографіях.
Результати (ось весь набір в анімації) показують досить помітну реконструкцію навколишнього середовища з людських очей у контрольованому середовищі. Сцена, знята за допомогою синтетичного ока (нижче), створила більш вражаючу сцену, схожу на сон. Однак спроба змоделювати відображення очей у кліпах Майлі Сайрус і Леді Гаги дала лише розпливчасті плями, які дослідники могли лише здогадуватися, що це світлодіодна сітка і камера на штативі – ілюстрація того, наскільки далека ця технологія від реального використання.
Команда подолала значні перешкоди, щоб реконструювати навіть грубі та нечіткі сцени. Наприклад, рогівка вносить “власний шум”, який ускладнює відокремлення відбитого світла від складних текстур райдужної оболонки ока людини. Щоб вирішити цю проблему, під час навчання було впроваджено оптимізацію положення рогівки (оцінка положення та орієнтації рогівки) та декомпозицію текстури райдужної оболонки (вилучення особливостей, притаманних райдужній оболонці людини). Нарешті, радіальна регуляризація втрат текстури (метод машинного навчання, який імітує більш плавні текстури, ніж вихідний матеріал) допомогла ще більше ізолювати та покращити відображені пейзажі.
Незважаючи на прогрес і розумні обхідні шляхи, залишаються значні бар’єри. “Наші поточні реальні результати отримані в “лабораторних умовах”, таких як захоплення обличчя людини зі збільшенням, освітлення сцени ліхтарями та навмисний рух людини”, – пишуть автори. “Ми вважаємо, що вільніші налаштування залишаються складними (наприклад, відеоконференції з природним рухом голови) через нижчу роздільну здатність датчика, динамічний діапазон і розмиття при русі”. Крім того, команда зазначає, що її універсальні припущення про текстуру райдужної оболонки ока можуть бути занадто спрощеними для широкого застосування, особливо коли очі зазвичай обертаються ширше, ніж в таких контрольованих умовах.
Тим не менш, команда розглядає свій прогрес як важливу віху, яка може сприяти майбутнім проривам. “Цією роботою ми сподіваємося надихнути майбутні дослідження, які використовують несподівані, випадкові візуальні сигнали для розкриття інформації про навколишній світ, розширюючи горизонти реконструкції 3D-сцен”. Хоча більш зрілі версії цієї роботи можуть породити деякі моторошні та небажані втручання у приватне життя, принаймні, ви можете бути спокійні, знаючи, що сьогоднішня версія може лише віддалено нагадувати ляльку Кірбі навіть за найідеальніших умов.
Читайте також:
Leave a Reply