Дослідники компанії Disney створили нову нейронну мережу, яка може змінювати візуальний вік акторів на телебаченні або в кіно. Технологія дозволить продюсерам теле- або кінофільмів робити акторів старше або молодше за допомогою автоматизованого процесу, який буде менш витратним і трудомістким, ніж попередні методи.
Традиційно, коли фахівцям зі спецефектів у відео- або кінопродукції потрібно зробити актора старше або молодше (метод, який Disney називає «омолодженням»), вони, як правило, використовують або 3D-сканування і 3D-моделювання, або 2D-покадрову цифрову ретуш обличчя актора за допомогою інструментів, подібних до фотошопу. Цей процес може зайняти тижні або більше, залежно від тривалості роботи.
На відміну від цього, нова технологія штучного інтелекту Disney, яка називається Face Re-aging Network (FRAN), автоматизує цей процес. Disney називає її «першим практичним, повністю автоматичним і готовим до виробництва методом відновлення облич на відеозображеннях».
Для створення FRAN дослідники Disney випадковим чином згенерували тисячі прикладів синтетично зістарених облич у віці від 18 до 85 років за допомогою StyleGAN2. Маючи ці навчальні дані, FRAN вивчила загальні принципи того, як зовнішність людини змінюється з віком. Тепер, коли навчання завершено, вона може застосовувати ці принципи старіння до реального актора в русі, кадр за кадром.
«Наша мережа навчається під наглядом на великій кількості пар зображень обличчя, що показують одну і ту ж синтетичну і фотореалістичну людину, позначену відповідним вихідним і цільовим віком, – пишуть дослідники у відповідній науковій статті. – Генеруючи навчальні дані синтетично, вони обійшли «здавалося б, неможливе завдання» збору зображень, що зображують «різноманітні ідентичності, вік і етнічну приналежність в різних точках зору».
Результатом стало те, що Disney називає «готовим до виробництва» рішенням – це означає, що воно створює досить якісний продукт, який можна використовувати в реальному фільмі або телепередачі. Це, можливо, перше у своєму роді рішення штучного інтелекту (ШІ), яке може динамічно змінювати вік актора на відео, попри різні вирази обличчя, умови освітлення і точки зору. Дослідники також розробили зручний інтерфейс для FRAN, який дозволить художникам легко використовувати інструмент у виробничому середовищі.
Враховуючи історію Disney з використанням комп’ютерних акторів у фільмах і телешоу «Зоряні війни», в тому числі тих, які були омолоджені за допомогою CGI, ми не здивуємося, якщо технологія, подібна до FRAN, буде широко використовуватися в майбутніх фільмах Disney, хоча жодних планів не було оголошено.
Ви можете допомогти Україні боротися з російськими окупантами, найкращий спосіб зробити це – пожертвувати кошти Збройним Силам України через Savelife або через офіційну сторінку НБУ.
Також цікаво: