В последнее время ToF-камеры стали неотъемлемой составляющей набора камер современного флагманского смартфона. Но как они работают, зачем вообще нужны и где их можно использовать?
“Они есть, ну и пусть”, – скажет большинство пользователей. Дело в том, что о ToF-датчиках публикуется очень мало информации. Разве что мои коллеги-журналисты, и то не все, да еще профильные эксперты могут внятно объяснить потребность в нем. Давайте внесем некую ясность в данном вопросе. Возможно, часть текста будет содержать много терминов, но я попробую максимально просто объяснить, что из себя представляет ToF-камера, куда можно применить ее возможности и как увидеть ее в действии. Ну что же, поехали!
Что такое камера ToF?
Помните эти фильмы о подводных лодках во время Второй мировой войны? Там фигурировало сонарное оборудование, используемое для обнаружения суден противника. Устройство посылает звуковой «пинг» в водное пространство и ждет отражения сигнала. В зависимости от времени, которое требовалось, чтобы звуковая волна вернулась назад, специалист пытался определить местоположение вражеской подводной лодки.
Точно так же, как сонар, камера ToF измеряет время, необходимое для того, чтобы свет отразился от объекта. Затем камера использует данные задержки для определения расстояния. Таким образом, датчик ToF создает трехмерную карту мира.
Поэтому камеры ToF также иногда называют «камерой глубины». ToF-камера (Time of Flight – «время полета» с англ.) представляет собой сенсор, который способен излучать некий свет в инфракрасном спектре и затем фиксировать скорость его отражения от объекта. Сам датчик состоит из двух частей: первая – это диод, излучающий инфракрасный свет, а вторая – это специальная светочувствительная матрица.
Камера измеряет время, после которого отраженный от объекта свет возвращается к нему. На основании расчетов, выполненных с точностью до наносекунды, устройство способно не только точно оценить расстояние отдельных объектов от датчика, но и определить их форму. Правда, очень похоже на сонар гидролокатора. Только в данном случае мы запускаем к объекту свет вместо звука.
Датчики, работающие по аналогичному принципу, также используются в автономных автомобилях или даже космических зондах, построенных NASA. Прогрессирующая миниатюризация и относительно низкие производственные затраты означают, что эта технология может появиться в вашем кармане уже сегодня. Дело в том, что ToF- датчики уже есть во многих топовых смартфонах. Вот некоторые мобильные устройства, укомплектованные ToF-камерами:
- Samsung Galaxy S10 5G
- Samsung Galaxy Note10+
- Samsung Galaxy S20+
- Samsung Galaxy S20 Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Honor View 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- ОPPO Reno
- Sony Xperia XZ4
Уверен, что с каждым годом этот список будет только расширяться, ведь потенциал данного датчика просто огромен. Возможно, вскоре Google в своих Pixel тоже установит такую камеру. Есть также надежда, что и Apple обратит внимание на датчик ToF и внесет свой вклад в большую популяризацию этой технологии, а также в полной мере использует его возможности. Не зря же подобный датчик появился в новом iPad Pro.
Ну что же, с теорией понятно, давайте теперь более подробно рассмотрим, на что способна ToF-камера на практике. Нужно понимать, что просто так взять и включить данный сенсор нельзя, но использовать его в некоторых приложениях, даже при съемке камерой все же можно.
Как можно применять камеру ToF?
Измеряем расстояние
На некоторых смартфонах Samsung (включая Note10+ , S20+ и S20 Ultra ) и Huawei (включая P30 Pro, Mate 30 Pro, Huawei P40 Pro ) вы можете установить приложение для измерения расстояния, которое называется Measure.
Все работает довольно просто и с впечатляющей точностью. В рамках тестов я измерил с помощью этого приложения и смартфона Samsung Galaxy S20 Ultra длину, ширину и диагональ экрана своего телевизора, и телефон дал размеры с точностью до сантиметра.
Размытие фона при съемке фото
Одним из применений системы 3D-визуализации может быть создание цифровой глубины резкости, чтобы вы могли добавить размытый фон к вашим фотографиям или видео. На данный момент это работает только для фотографий, а не для видео. Функция также позволяет нам избавиться от лишних предметов попавших в кадр или фонов, которые портят впечатление от снимка.
К тому же на некоторых телефонах датчик ToF поддерживает автофокусировку или позволяет более точно размыть фон в портретном режиме. Короче, помогает вам делать лучшие селфи, чтобы радовать подписчиков, например, в Instagram.
Отслеживание движения
Смартфон LG G8 ThinQ имеет ToF-датчик, расположенный на передней панели, который используется, среди прочего, для обнаружения жестов, выполняемые в воздухе. Не очень хочется рассказывать о возможности использовании таких жестов, лучше сами посмотрите.
В Google Play также есть несколько игр с движением, подобных тем, которые поддерживаются контроллером Microsoft Kinect.
Создание 3D-моделей и дополненная реальность
О возможности создавать 3D-модели с помощью ToF-камеры можно говорить бесконечно. Уже сейчас вы можете с помощью селфи-фотографий с разных ракурсов создать модель своего лица и даже напечатать ее, если под рукой есть 3D-принтер. Конечно же, кто-то скажет, что это всего лишь игры и проведение досуга. Но вполне реально, что в будущем с помощью ToF камер будут создавать детали для автомобилей или других механизмов.
Виртуальная и дополненная реальность все более настойчиво стучится в наши двери. Игры с поддержкой дополненной реальности все чаще появляются в смартфонах на Android и iOS. Это увлекательно, познавательно и позволяет с пользой проводить время. В частности, в Play Маркет уже можно найти большое количество приложений и игр с поддержкой платформы Google ARCore. Достаточно загрузить и установить приложение Сервисы Google Play для AR, и вам будут доступны подобные игры и приложения в дополненной реальности. Как раз использование ToF-камеры дает возможность в полной мере насладиться эффектом дополненной реальности.
В свою очередь, в новом Apple iPad Pro датчик глубины отвечает за более точное наложение виртуальных объектов на изображение с камеры в режиме дополненной реальности.
Смартфон, как прибор ночного видения?
В настоящее время для большинства устройств ToF-датчик работает практически незаметно для пользователя, поддерживая только функции, требующие определения глубины сцены.
Однако в Google Play я нашел отличное приложение Night Vision, которое позволяет вам использовать 3D-сканер в необычной роли. Я установил его на свой Huawei P30 Pro.
Программа в режиме реального времени отображает то, что фиксирует датчик ToF. Поскольку он использует инфракрасный свет, невидимый человеческому глазу, карта глубины отлично видна даже в абсолютной темноте.
Я был удивлен тем, насколько большой участок способен сканировать такой крошечный сенсор. Я ожидал, что он сдуется уже через несколько десятков сантиметров, но на практике оказалось, что в мгновение ока можно создать трехмерную карту всей комнаты. ToF-камера легко обнаруживает форму небольших объектов на расстоянии 4-5 метров.
Особенно такой прибор ночного видения понравится вашему ребенку. Уверен, что он тут же побежит исследовать самые темные уголки вашей квартиры или дома.
ToF-камера как датчик биометрии
Камера ToF чаще всего реализована в виде двух миниатюрных отверстий, в которых скрыты инфракрасный диод и матрица. Здесь возникает вопрос: “Почему Apple не хочет использовать эту технологию вместо своей системы TrueDepth, чьи многочисленные датчики занимают более половины ширины экрана телефона?”
Причина, вероятно, в плохом качестве сканирования. Камеры ToF, используемые в смартфонах, в настоящее время имеют очень низкое разрешение (до 240p), в результате чего изображение сильно пикселируется.
Как видите, детали такого сканирования слишком малы, чтобы программное обеспечение точно могло определить черты лица.
Но, лично я не вижу никаких противопоказаний, по которым сканер лица не мог бы работать в гибридном режиме. Теоретически, в то же время, пока селфи-камера анализирует черты лица и обнаруживает открытые глаза, датчик ToF проверяет, имеет ли он дело с трехмерным объектом определенной формы и размера, а не с фотографией.
Такой сканер потенциально очень трудно обмануть, и в то же время он быстрый, дешевый и неинвазивный. Поэтому я не удивлюсь, если в ближайшем будущем Apple будет использовать технологию ToF для создания сканера Face ID следующего поколения, следовательно, подобное распознавание лиц в 3D-режиме станет более распространенным.
Мне удалось выяснить, что в Huawei P40 Pro как раз установлен такой сенсор, он расположен между двойной фронтальной камерой и принимает участие в процессе разблокировки по лицу. А я еще удивлялся, почему разблокировка по лицу на Huawei P40 Pro происходит намного быстрее, чем на предшественнике P30 Pro… А причина как раз в ToF. К тому же обмануть новый флагман с помощью фотографии точно нельзя. Проверено мною только что.
Будущие приложения для мобильных кинематографистов
Любой, кто использует свой смартфон для съемки видео, будет крайне заинтересован, если 3D-технологию ToF можно будет использовать для добавления малой глубины резкости фона. Особенно, если процесс можно будет перевести в пост-продакшн, так как это обеспечивает большую гибкость.
Также возможности ToF представляют потенциальный интерес для тех, кто добавляет компьютерные эффекты к своим видео. Например, при отслеживании движения в видео лучше сфокусироваться на объекте как можно точнее. Использование 3D-карты должно позволить нам снимать все в фокусе, а позже добавить необходимое размытие фона и спецэфекты, если это необходимо.
Это всего лишь предположение с моей стороны, но 3D-сканирование, безусловно, имеет огромный потенциал для улучшения процесса съемки видео. Это уже доказано современным кинематографом и я надеюсь, скоро появится в потребительском сегменте.
Причина, по которой этих функций еще нет в камерах смартфонов при съемке видео, вероятно, связана с необходимостью иметь повышенную вычислительную мощность. Тестирование доказало, что при использовании датчика ToF, смартфоны нагреваются. А поскольку у них нет активного охлаждения, то это может быть некоторой проблемой.
Но с увеличением мощности мобильных процессоров, я думаю, камеры ToF станут более широко использоваться в фото- и видео приложениях.
Одно можно сказать наверняка – у ToF большой потенциал
Сам факт того, что смартфон может работать как сверхточное устройство измерения расстояния или прибор ночного видения, означает, что я никогда больше не куплю телефон без датчика ToF. Это одна из самых интересных технологий последних лет, и она только в начале своего пути.
Впечатляет, что такой маленький датчик может сделать так много. Я скрещиваю пальцы, чтобы производители и разработчики приложений постоянно работали над использованием его возможностей. Уверен, что мы еще не раз услышим о новом применении ToF-камеры. И кто теперь скажет, что это бесполезное дополнение к основному набору камер смартфона?
И кто теперь скажет, что это бесполезное дополнение к основному набору камер смартфона?
Я говорю: пустая штукенция и баста …
К фронталке крутое дополнение, потому что обеспечивает быстрое 3D-распознавание лица, в P40 Pro работает отлично. А в основной… оно незаметно, но тоже работает, помогает основному модулю в фокусировке. Так что не баста :)