Наскоро ToF камерите се превърнаха в неразделна част от комплекта камери на модерен флагмански смартфон. Но как работят, защо изобщо са необходими и къде могат да се използват?
„Те са, така да бъде“, ще кажат повечето потребители. Факт е, че се публикува много малко информация за ToF сензорите. Освен ако колегите журналисти, и то не всички, а дори и специализирани експерти, могат ясно да обяснят необходимостта от тях. Нека внесем малко яснота по този въпрос. Може би част от текста ще съдържа много термини, но ще се опитам да обясня възможно най-просто какво е ToF камера, къде можете да приложите нейните възможности и как да я видите в действие. Е, да тръгваме!
Какво е ToF камера?
Спомняте ли си онези филми за подводници от Втората световна война? Там се появи сонарно оборудване, използвано за откриване на вражески кораби. Устройството изпраща звуков "пинг" във водното пространство и чака сигналът да бъде отразен. В зависимост от времето, необходимо за връщането на звуковата вълна, специалистът се опита да определи местоположението на вражеската подводница.
Точно като сонара, ToF камерата измерва времето, необходимо на светлината да отскочи от обект. След това камерата използва данните за забавяне, за да определи разстоянието. Така сензорът ToF създава триизмерна карта на света.
Ето защо ToF камерите понякога се наричат още "камери за дълбочина". ToF камерата (Time of Flight) е сензор, способен да излъчва някакъв вид светлина в инфрачервения спектър и след това да записва скоростта на нейното отражение от обекта. Самият сензор се състои от две части: първата е диод, който излъчва инфрачервена светлина, а втората е специална светлочувствителна матрица.
Камерата измерва времето, след което отразената от обекта светлина се връща към него. Въз основа на изчисления, направени с точност до наносекунда, устройството е в състояние не само да оцени точно разстоянието на отделните обекти от сензора, но и да определи тяхната форма. Вярно е, че е много подобен на сонарния сонар. Само в този случай ние изпращаме светлина към обекта вместо звук.
Сензори, които работят на подобен принцип, се използват и в автономни автомобили или дори космически сонди, построени от НАСА. Прогресивната миниатюризация и сравнително ниските производствени разходи означават, че тази технология може да бъде в джоба ви днес. Факт е, че ToF сензорите вече са в много топ смартфони. Ето някои мобилни устройства, оборудвани с ToF камери:
- Samsung Galaxy S10 5G
- Samsung Galaxy Забележка 10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Почетен изглед 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Сигурен съм, че всяка година този списък ще се разширява само, защото потенциалът на този сензор е просто огромен. Може би скоро Google също ще инсталира такава камера в своите Pixels. Има и надежда, че и Apple ще обърне внимание на ToF сензора и ще допринесе за голямото популяризиране на тази технология, както и ще използва пълноценно нейните възможности. Не напразно подобен сензор се появи в новия iPad Pro.
Е, теорията е ясна, сега нека разгледаме по-отблизо на какво е способна ToF камерата на практика. Трябва да се разбере, че не можете просто да вземете и включите този сензор, но все пак можете да го използвате в някои приложения, дори когато снимате с камера.
Как може да се използва ToF камера?
Измерваме разстоянието
На някои смартфони Samsung (включително Note10+, S20+ и S20 Ultra) и Huawei (включително P30 Pro, Mate 30 Pro, Huawei P40 Pro) можете да инсталирате приложение за измерване на разстояние, наречено Measure.
Всичко работи съвсем просто и с впечатляваща точност. Като част от тестовете измервах с това приложение и смартфон Samsung Galaxy S20 Ultra дължина, ширина и диагонал на екрана на вашия телевизор, а телефонът даде размерите с точност до сантиметър.
Замъгляване на фона при правене на снимка
Едно приложение на система за 3D изобразяване може да бъде създаването на цифрова дълбочина на полето, така че да можете да добавите замъглен фон към вашите снимки или видеоклипове. В момента това работи само за снимки, не и за видеоклипове. Функцията също така ни позволява да се отървем от ненужни обекти, попаднали в рамката или фонове, които развалят впечатлението от картината.
Освен това на някои телефони сензорът ToF поддържа автофокус или ви позволява да замъглите фона по-точно в портретен режим. Накратко, помага ви да правите по-добри селфита, за да зарадвате последователите си, като в Instagram.
Проследяване на движение
Смартфонът LG G8 ThinQ разполага с ToF сензор, разположен на предния панел, който освен всичко друго се използва за разпознаване на жестове, извършвани в пространството. Не искам да говоря за възможностите за използване на такива жестове, по-добре е да видите сами.
Google Play също има няколко игри с движение, подобни на тези, поддържани от контролера Microsoft Kinect.
Създаване на 3D модели и добавена реалност
Възможността за създаване на 3D модели с помощта на ToF камера може да се говори безкрайно. Още сега можете да използвате селфи снимки от различни ъгли, за да създадете модел на лицето си и дори да го отпечатате, ако имате под ръка 3D принтер. Разбира се, някой ще каже, че това са само игри и забавления. Но е напълно възможно в бъдеще ToF камерите да се използват за създаване на части за автомобили или други механизми.
Виртуалната и добавена реалност все по-упорито чука на вратата ни. Игрите с поддръжка на добавена реалност все повече се появяват в смартфони Android и iOS. Това е вълнуващо, образователно и ви позволява да прекарате времето си с полза. По-специално, в Play Market вече можете да намерите голям брой приложения и игри с поддръжка на платформата Google ARCore. Достатъчно е да изтеглите и инсталирате приложението Google Play Services for AR и такива игри и приложения ще бъдат достъпни за вас в добавена реалност. Самото използване на ToF камерата ви дава възможност да се насладите напълно на ефекта на добавената реалност.
На свой ред в новия Apple Сензорът за дълбочина на iPad Pro отговаря за по-точно наслагване на виртуални обекти върху изображението от камерата в режим на добавена реалност.
Смартфон като устройство за нощно виждане?
Понастоящем за повечето устройства ToF сензорът работи почти незабележимо за потребителя, като поддържа само функции, които изискват определяне на дълбочината на сцената.
В Google Play обаче намерих отлично приложение, наречено Night Vision, което ви позволява да използвате 3D скенера в необичайна роля. Инсталирах го на моя Huawei P30 Pro.
Приложението показва в реално време това, което ToF сензорът улавя. Тъй като използва инфрачервена светлина, която е невидима за човешкото око, картата на дълбочината е ясно видима дори в пълна тъмнина.
Бях изненадан колко голяма площ може да сканира такъв малък сензор. Очаквах, че ще се издуе след няколко десетки сантиметра, но на практика се оказа, че можете да създадете триизмерна карта на цялата стая за миг. ToF камерата лесно открива формата на малки обекти на разстояние 4-5 метра.
Вашето дете ще хареса особено такова устройство за нощно виждане. Сигурен съм, че тя веднага ще изтича да изследва най-тъмните ъгли на вашия апартамент или къща.
ToF камера като биометричен сензор
ToF камерата най-често се изпълнява под формата на два миниатюрни отвора, в които са скрити инфрачервеният диод и матрицата. Тук възниква въпросът: „Защо Apple не иска да използва тази технология вместо своята система TrueDepth, чиито множество сензори заемат повече от половината ширина на екрана на телефона?“
Причината вероятно е лошото качество на сканирането. ToF камерите, използвани в смартфоните, в момента имат много ниска разделителна способност (до 240p), което води до силно пикселизирани изображения.
Както можете да видите, детайлите на такова сканиране са твърде малки, за да може софтуерът точно да идентифицира чертите на лицето.
Но лично аз не виждам противопоказания, според които скенерът за лице не може да работи в хибриден режим. Теоретично, в същото време, когато селфи камерата анализира чертите на лицето и открива отворени очи, ToF сензорът проверява дали наистина си има работа с триизмерен обект с определена форма и размер, а не снимка.
Такъв скенер е потенциално много труден за заблуда и в същото време е бърз, евтин и неинвазивен. Така че не бих се изненадал, ако в близко бъдеще Apple ще използва технологията ToF, за да създаде следващо поколение скенер за лицева идентификация, така че този вид 3D лицево разпознаване ще стане по-често срещано.
Успях да разбера, че в Huawei P40 Pro има инсталиран точно такъв ToF сензор, той се намира между двойната предна камера и участва в процеса на отключване с лице. И пак се чудех защо е включено отключването с лице Huawei P40 Pro е много по-бърз от своя предшественик, P30 Pro. Освен това определено е невъзможно да излъжете новия флагман с помощта на снимка. Току-що проверено от мен.
Бъдещи приложения за мобилни режисьори
Всеки, който използва своя смартфон за заснемане на видео, ще бъде изключително заинтересован дали 3D ToF технологията може да се използва за добавяне на плитка дълбочина на полето към фона. Особено ако процесът може да се прехвърли в постпродукция, тъй като осигурява повече гъвкавост.
Също така, възможностите на ToF са от потенциален интерес за тези, които добавят компютърни ефекти към своите видеоклипове. Например, когато проследявате движение във видеоклип, е по-добре да фокусирате обекта възможно най-точно. Използването на 3D карта трябва да ни позволи да снимаме всичко на фокус и по-късно да добавим необходимото замъгляване на фона и специални ефекти, ако е необходимо.
Това са само спекулации от моя страна, но 3D сканирането със сигурност има огромен потенциал за подобряване на процеса на заснемане на видео. Това вече е доказано от съвременното кино и, надявам се, скоро ще се появи в потребителския сегмент.
Причината, поради която тези функции все още не са налични в камерите на смартфоните при заснемане на видео, вероятно е свързана с необходимостта от повишена мощност на обработка. Тестовете доказаха, че смартфоните се нагряват при използване на сензора ToF. И тъй като нямат активно охлаждане, това може да е малко проблем.
Но тъй като мощността на мобилните процесори се увеличава, мисля, че ToF камерите ще станат по-широко използвани в фото и видео приложения.
Едно нещо може да се каже със сигурност - ToF има голям потенциал
Самият факт, че един смартфон може да функционира като свръхпрецизно устройство за измерване на разстояние или устройство за нощно виждане означава, че никога повече няма да си купя телефон без ToF сензор. Това е една от най-интересните технологии от последните години и е едва в началото на своя път.
Удивително е, че толкова малък сензор може да направи толкова много. Стискам палци производителите и разработчиците на приложения да продължат да работят върху използването на неговите възможности. Сигурен съм, че ще чуем повече от веднъж за нови приложения на ToF камерата. И сега кой ще каже, че това е ненужно допълнение към основния набор от камери на смартфоните?
интересна информация