Що таке камера ToF і навіщо її встановлюють в сучасних смартфонах?

Останнім часом ToF-камери стали невід’ємною складовою набору камер сучасного флагманського смартфона. Але як вони працюють, навіщо взагалі потрібні і де їх можна використовувати?

“Вони є, ну і нехай”, – скаже більшість користувачів. Справа в тому, що про ToF-датчики публікується дуже мало інформації. Хіба що мої колеги-журналісти, і то не всі, та ще профільні експерти можуть чітко пояснити потребу в них. Давайте внесемо якусь ясність в це питання. Можливо, частина тексту буде містити багато термінів, але я спробую максимально просто пояснити, що з себе представляє ToF-камера, де можна застосувати її можливості і як побачити її в дії. Ну що ж, поїхали!

Що таке камера ToF?

Пам’ятаєте ці фільми про підводні човни часів Другої світової війни? Там фігурувало сонарне обладнання, що використовувалось для виявлення суден противника. Пристрій посилає звуковий «пінг» у водний простір і чекає відбиття сигналу. Залежно від часу, що було потрібно, аби звукова хвиля повернулася назад, фахівець намагався визначити місце розташування ворожого підводного човна.

Точно так, як і сонар, камера ToF вимірює час, необхідний для того, щоб світло відбилось від об’єкта. Потім камера використовує дані затримки для визначення відстані. Таким чином, датчик ToF створює тривимірну карту світу.

Тому камери ToF також іноді називають «камерою глибини». ToF-камера (Time of Flight – «час польоту» з англ.) являє собою сенсор, який здатний випромінювати якесь світло в інфрачервоному спектрі і потім фіксувати швидкість його відображення від об’єкта. Сам датчик складається з двох частин: перша – це діод, що випромінює інфрачервоне світло, а друга – це спеціальна світлочутлива матриця.

Камера вимірює час, після якого відбите від об’єкта світло повертається до нього. На підставі розрахунків, виконаних з точністю до наносекунди, пристрій здатний не тільки точно оцінити відстань окремих об’єктів від датчика, а й визначити їх форму. Правда, дуже схоже на сонар гідролокатора. Тільки в даному випадку ми запускаємо до об’єкта світло замість звуку.

Датчики, які працюють за аналогічним принципом, також використовуються в автономних автомобілях або навіть космічних зондах, побудованих NASA. Прогресуюча мініатюризація і відносно низькі виробничі витрати означають, що ця технологія може з’явитися у вашій кишені вже сьогодні. Справа в тому, що ToF-датчики вже є в багатьох топових смартфонах. Ось деякі мобільні пристрої, укомплектовані ToF-камерами:

• Samsung Galaxy S10 5G
• Samsung Galaxy Note10+
• Samsung Galaxy S20+
• Samsung Galaxy S20 Ultra 5G
• LG G8 Thin Q
• OPPO RX17 Pro
• Honor View 20
• Huawei P30 Pro
• Huawei Mate 30 Pro
• Huawei P40 Pro
• ОPPO Reno
• Sony Xperia XZ4

Упевнений, що з кожним роком цей список буде тільки розширюватися, адже потенціал даного датчика просто величезний. Можливо, незабаром Google в своїх Pixel теж встановить таку камеру. Є також надія, що і Apple зверне увагу на датчик ToF і зробить свій внесок у велику популяризацію цієї технології, а також в повній мірі використає його можливості. Не дарма ж подібний датчик з’явився в новому iPad Pro.

Ну що ж, з теорією зрозуміло, давайте тепер більш детально розглянемо, на що здатна ToF-камера на практиці. Потрібно розуміти, що просто так взяти і включити даний сенсор не можна, але використовувати його в деяких застосунках, навіть при зйомці камерою все ж можна.

Як можна застосовувати камеру ToF?

Вимірюємо відстань

На деяких смартфонах Samsung (включаючи Note10+, S20+ і S20 Ultra) і Huawei (включаючи P30 Pro, Mate 30 Pro, Huawei P40 Pro) ви можете встановити застосунок для вимірювання відстані, який називається Measure.

Download QR-Code

Measure

Developer: Google LLC

Price: Free

Все працює досить просто і з вражаючою точністю. В рамках тестів я виміряв за допомогою цього додатка і смартфона Samsung Galaxy S20 Ultra довжину, ширину і діагональ екрану свого телевізора, і телефон дав розміри з точністю до сантиметра.

Розмиття фону при зйомці фото

Одним із застосувань системи 3D-візуалізації може бути створення цифрової глибини різкості, щоб ви могли додати розмитий фон до ваших фотографій або відео. На даний момент це працює тільки для фотографій, а не для відео. Функція також дозволяє нам позбутися від зайвих предметів, які потрапили в кадр, або фонів, які псують враження від знімку.

До того ж на деяких телефонах датчик ToF підтримує автофокусування або дозволяє більш точно розмити фон в портретному режимі. Коротше, допомагає вам робити кращі селфі, щоб радувати підписників, наприклад, в Instagram.

Відстеження руху

Смартфон LG G8 ThinQ має ToF-датчик, розташований на передній панелі, який використовується, серед іншого, для виявлення жестів, що виконуються в просторі. Не дуже хочеться розповідати про можливості використання таких жестів, краще самі подивіться.

У Google Play також є кілька ігор з рухом, подібних до тих, які підтримуються контролером Microsoft Kinect.

Створення 3D-моделей і доповнена реальність

Про можливість створювати 3D-моделі за допомогою ToF-камери можна говорити нескінченно. Вже зараз ви можете за допомогою селфи-фотографій з різних ракурсів створити модель свого обличчя і навіть надрукувати її, якщо під рукою є 3D-принтер. Звичайно ж, хтось скаже, що це всього лише ігри і проведення дозвілля. Але цілком реально, що в майбутньому за допомогою ToF камер будуть створювати деталі для автомобілів або інших механізмів.

Віртуальна і доповнена реальність все більш наполегливо стукає в наші двері. Ігри з підтримкою доповненої реальності все частіше з’являються в смартфонах на Android і iOS. Це захоплююче, пізнавально і дозволяє з користю проводити час. Зокрема, в Play Маркет вже можна знайти велику кількість додатків та ігор з підтримкою платформи Google ARCore. Досить завантажити і встановити застосунок Сервіси Google Play для AR, і вам будуть доступні такі ігри і додатки в доповненій реальності. Якраз використання ToF-камери дає можливість повною мірою насолодитися ефектом доповненої реальності.

У свою чергу, в новому Apple iPad Pro датчик глибини відповідає за більш точне накладення віртуальних об’єктів на зображення з камери в режимі доповненої реальності.

Смартфон як прилад нічного бачення?

В даний час для більшості пристроїв ToF-датчик працює практично непомітно для користувача, підтримуючи тільки функції, які потребують визначення глибини сцени.

Однак в Google Play я знайшов відмінний додаток Night Vision, який дозволяє вам використовувати 3D-сканер в незвичній для себе ролі. Я встановив його на свій Huawei P30 Pro.

Download QR-Code

ToF Viewer / Night Vision

Developer: Lubos Vonasek Programmierung

Price: Free

Програма в режимі реального часу відображає те, що фіксує датчик ToF. Оскільки він використовує інфрачервоне світло, невидиме людському оку, карту глибини добре видно навіть в абсолютній темряві.

Я був здивований тим, наскільки велику ділянку здатний сканувати такий крихітний сенсор. Я очікував, що він здується вже через кілька десятків сантиметрів, але на практиці виявилося, що в одну мить можна створити тривимірну карту всієї кімнати. ToF-камера легко виявляє форму невеликих об’єктів на відстані 4-5 метрів.

Особливо такий прилад нічного бачення сподобається вашій дитині. Упевнений, що вона тут же побіжить досліджувати найтемніші куточки вашої квартири або будинку.

ToF-камера як датчик біометрії

Камера ToF найчастіше реалізована у вигляді двох мініатюрних отворів, в яких приховані інфрачервоний діод і матриця. Тут виникає питання: “Чому Apple не хоче використовувати цю технологію замість своєї системи TrueDepth, чиї численні датчики займають більше половини ширини екрану телефону?”

Причина, ймовірно, в поганій якості сканування. Камери ToF, використовувані в смартфонах, на даний час мають дуже низьку роздільну здатність (до 240p), в результаті чого зображення сильно пікселюється.

Як бачите, деталі такого сканування занадто малі, щоб програмне забезпечення точно могло визначити риси обличчя.

Але, особисто я не бачу ніяких протипоказань, за якими сканер обличчя не міг би працювати в гібридному режимі. Теоретично, в той же час, поки селфі-камера аналізує риси обличчя і виявляє відкриті очі, датчик ToF перевіряє, чи дійсно він має справу з тривимірним об’єктом певної форми і розміру, а не з фотографією.

Такий сканер потенційно дуже важко обдурити, і в той же час він швидкий, дешевий і неінвазивний. Тому я не здивуюся, якщо в найближчому майбутньому Apple буде використовувати технологію ToF для створення сканера Face ID наступного покоління, отже, подібне розпізнавання обличчя в 3D-режимі стане більш поширеним.

Мені вдалося з’ясувати, що в Huawei P40 Pro якраз встановлено такий ToF-сенсор, він розташований між подвійною фронтальною камерою і бере участь в процесі розблокування по обличчю. А я ще дивувався, чому розблокування по обличчю на Huawei P40 Pro відбувається набагато швидше, ніж на попереднику P30 Pro. До того ж обдурити новий флагман з допомогою фотографії точно не можна. Перевірено мною тільки що.

Майбутні програми для мобільних кінематографістів

Той, хто використовує свій смартфон для зйомки відео, буде вкрай зацікавлений, якщо 3D-технологію ToF можна буде використовувати для додавання малої глибини різкості фону. Особливо, якщо процес можна буде перевести в пост-продакшн, так як це забезпечує більшу гнучкість.

Також можливості ToF представляють потенційний інтерес для тих, хто додає комп’ютерні ефекти до своїх відео. Наприклад, при відстеженні руху у відео краще сфокусуватися на об’єкті якомога точніше. Використання 3D-карти має дозволити нам знімати все в фокусі, а пізніше додати необхідне розмиття фону і спецефекти, якщо це необхідно.

Це всього лише припущення з мого боку, але 3D-сканування, безумовно, має величезний потенціал для поліпшення процесу зйомки відео. Це вже доведено сучасним кінематографом і, я сподіваюся, скоро з’явиться у споживчому сегменті.

Причина, за якою цих функцій ще немає в камерах смартфонів при зйомці відео, ймовірно, пов’язана з необхідністю мати підвищену обчислювальну потужність. Тестування довело, що при використанні датчика ToF, смартфони нагріваються. А оскільки у них немає активного охолодження, то це може бути певною проблемою.

Але зі збільшенням потужності мобільних процесорів, я думаю, камери ToF почнуть більш широко використовуватися в фото- і відео додатках.

Одне можна сказати напевно – у ToF великий потенціал

Сам факт того, що смартфон може працювати як надточний пристрій вимірювання відстані або прилад нічного бачення, означає, що я ніколи більше не куплю телефон без датчика ToF. Це одна з найцікавіших технологій останніх років, і вона тільки на початку свого шляху.

Вражає, що такий маленький датчик може зробити так багато. Я схрещую пальці, щоб виробники і розробники додатків постійно працювали над використанням його можливостей. Упевнений, що ми ще не раз почуємо про нові застосування ToF-камери. І хто тепер скаже, що це непотрібний додаток до основного набору камер смартфона?