V zadnjem času so ToF kamere postale sestavni del nabora kamer sodobnega vodilnega pametnega telefona. Toda kako delujejo, zakaj so sploh potrebni in kje jih je mogoče uporabiti?
»So, pa naj bo,« bo rekla večina uporabnikov. Dejstvo je, da je o senzorjih ToF objavljenih zelo malo informacij. Razen če moji kolegi novinarji, in to ne vsi, in celo specializirani strokovnjaki, ne znajo jasno razložiti potrebe po njih. Pojasnimo to vprašanje. Morda bo del besedila vseboval veliko izrazov, vendar bom poskušal čim bolj preprosto razložiti, kaj je ToF kamera, kje lahko uporabite njene zmogljivosti in kako jo videti v akciji. No, pa gremo!
Kaj je ToF kamera?
Se spomnite tistih filmov o podmornicah iz druge svetovne vojne? Tam se je pojavila sonarska oprema za odkrivanje sovražnih ladij. Naprava pošlje zvočni "ping" v vodni prostor in počaka, da se signal odbije. Glede na čas, potreben za vrnitev zvočnega vala, je specialist poskušal določiti lokacijo sovražne podmornice.
Tako kot sonar tudi kamera ToF meri čas, ki je potreben, da se svetloba odbije od predmeta. Kamera nato uporabi podatke o zakasnitvi za določitev razdalje. Tako senzor ToF ustvari tridimenzionalni zemljevid sveta.
Zato se ToF kamere včasih imenujejo tudi "globinske kamere". ToF kamera (Time of Flight) je senzor, ki je sposoben oddajati nekakšno svetlobo v infrardečem spektru in nato beležiti hitrost njenega odboja od predmeta. Sam senzor je sestavljen iz dveh delov: prvi je dioda, ki oddaja infrardečo svetlobo, drugi pa je posebna svetlobno občutljiva matrika.
Kamera meri čas, po katerem se svetloba, odbita od predmeta, vrne vanj. Na podlagi izračunov, opravljenih z natančnostjo do nanosekunde, lahko naprava ne samo natančno oceni oddaljenost posameznih predmetov od senzorja, ampak tudi določi njihovo obliko. Res je, da je zelo podoben sonarju. Samo v tem primeru pošiljamo na predmet svetlobo namesto zvoka.
Senzorji, ki delujejo po podobnem principu, se uporabljajo tudi v avtonomnih avtomobilih ali celo vesoljskih sondah, ki jih izdeluje NASA. Progresivna miniaturizacija in razmeroma nizki proizvodni stroški pomenijo, da je ta tehnologija lahko že danes v vašem žepu. Dejstvo je, da so senzorji ToF že v mnogih vrhunskih pametnih telefonih. Tukaj je nekaj mobilnih naprav, opremljenih s kamerami ToF:
- Samsung Galaxy S10 5G
- Samsung Galaxy Opomba 10+
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Čast pogled 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Prepričan sem, da se bo ta seznam vsako leto le razširil, saj je potencial tega senzorja preprosto ogromen. Morda bo kmalu takšno kamero v svoje piksle vgradil tudi Google. Obstaja tudi upanje, da in Apple bo pozornost namenil senzorju ToF in prispeval k veliki popularizaciji te tehnologije ter v celoti izkoristil njegove zmožnosti. Ni zaman, da se je podoben senzor pojavil v novem iPad Pro.
No, teorija je jasna, zdaj pa si poglejmo podrobneje, česa je ToF kamera sposobna v praksi. Treba je razumeti, da tega senzorja ne morete preprosto vzeti in vklopiti, vendar ga lahko še vedno uporabljate v nekaterih aplikacijah, tudi pri fotografiranju s kamero.
Kako se lahko uporablja kamera ToF?
Izmerimo razdaljo
Na nekaterih pametnih telefonih Samsung (vključno z Note10+, S20+ in S20 Ultra) in Huawei (vključno s P30 Pro, Mate 30 Pro, Huawei P40 Pro) lahko namestite aplikacijo za merjenje razdalje, imenovano Measure.
Vse deluje precej preprosto in z impresivno natančnostjo. V okviru testov sem meril s to aplikacijo in pametnim telefonom Samsung Galaxy S20 Ultra je določil dolžino, širino in diagonalo vašega TV zaslona, telefon pa je podal dimenzije na centimeter natančno.
Zameglitev ozadja pri fotografiranju
Ena od aplikacij sistema za 3D upodabljanje je lahko ustvarjanje digitalne globinske ostrine, tako da lahko svojim fotografijam ali videoposnetkom dodate zamegljeno ozadje. To trenutno deluje samo za fotografije, ne za videoposnetke. Funkcija omogoča tudi, da se znebimo nepotrebnih predmetov, ki so zašli v okvir ali ozadja, ki kvarijo vtis slike.
Poleg tega na nekaterih telefonih senzor ToF podpira samodejno ostrenje ali omogoča natančnejšo zameglitev ozadja v pokončnem načinu. Skratka, pomaga vam narediti boljše selfije, da razveselite svoje sledilce, na primer v Instagram.
Sledenje gibanju
Pametni mobilni telefon LG G8 ThinQ ima na sprednji plošči nameščen senzor ToF, ki se med drugim uporablja za zaznavanje potez, ki se izvajajo v prostoru. Ne želim govoriti o možnostih uporabe takšnih gest, bolje je, da se prepričate sami.
Google Play ima tudi več gibljivih iger, podobnih tistim, ki jih podpira krmilnik Microsoft Kinect.
Izdelava 3D modelov in obogatene resničnosti
O možnosti ustvarjanja 3D modelov s pomočjo ToF kamere je mogoče govoriti neskončno. Že zdaj lahko uporabite selfie fotografije iz različnih zornih kotov, da ustvarite model svojega obraza in ga celo natisnete, če imate pri roki 3D tiskalnik. Seveda bo kdo rekel, da so to le igre in zabava. Toda povsem možno je, da bodo v prihodnosti kamere ToF uporabljali za izdelavo delov za avtomobile ali druge mehanizme.
Navidezna in obogatena resničnost vse bolj vztrajno trka na naša vrata. Igre s podporo za razširjeno resničnost se vse pogosteje pojavljajo v pametnih telefonih Android in iOS. Je razburljivo, poučno in vam omogoča, da svoj čas preživite s koristjo. Zlasti na Play Marketu že lahko najdete veliko število aplikacij in iger s podporo za platformo Google ARCore. Dovolj je, da prenesete in namestite aplikacijo Google Play Services for AR in tovrstne igre in aplikacije vam bodo na voljo v obogateni resničnosti. Ravno uporaba ToF kamere vam omogoča, da v celoti uživate v učinku obogatene resničnosti.
Po drugi strani pa v novem Apple Senzor globine iPad Pro je odgovoren za natančnejše prekrivanje virtualnih predmetov na sliki iz kamere v načinu obogatene resničnosti.
Pametni telefon kot naprava za nočno opazovanje?
Trenutno pri večini naprav senzor ToF deluje skoraj neopazno za uporabnika in podpira samo funkcije, ki zahtevajo določanje globine scene.
Sem pa v Google Play našel odlično aplikacijo Night Vision, ki omogoča uporabo 3D skenerja v nenavadni vlogi. Jaz sem ga namestil na svojega Huawei P30 Pro.
Aplikacija v realnem času prikazuje, kaj zajame senzor ToF. Ker uporablja infrardečo svetlobo, ki je človeškemu očesu nevidna, je zemljevid globine jasno viden tudi v popolni temi.
Presenečen sem bil, kako veliko območje lahko skenira tako majhen senzor. Pričakoval sem, da se bo izpraznil po nekaj deset centimetrih, a v praksi se je izkazalo, da lahko v trenutku ustvariš tridimenzionalni zemljevid celotne sobe. Kamera ToF zlahka zaznava obliko majhnih predmetov na razdalji 4-5 metrov.
Vašemu otroku bo takšna naprava za nočno opazovanje še posebej všeč. Prepričan sem, da bo takoj stekla raziskovat najtemnejše kotičke vašega stanovanja ali hiše.
Kamera ToF kot biometrični senzor
ToF kamera je največkrat izvedena v obliki dveh miniaturnih lukenj, v katerih se skrivata infrardeča dioda in matrika. Tu se postavlja vprašanje: »Zakaj Apple ne želi uporabiti te tehnologije namesto svojega sistema TrueDepth, katerega več senzorjev zavzame več kot polovico širine zaslona telefona?«
Razlog je verjetno slaba kakovost skeniranja. Kamere ToF, ki se uporabljajo v pametnih telefonih, imajo trenutno zelo nizko ločljivost (do 240p), kar ima za posledico visoko slikovne pike.
Kot lahko vidite, so podrobnosti takega skeniranja premajhne, da bi programska oprema lahko natančno prepoznala poteze obraza.
Toda osebno ne vidim nobenih kontraindikacij, v skladu s katerimi skener obraza ne bi mogel delovati v hibridnem načinu. Teoretično istočasno, ko selfie kamera analizira poteze obraza in zaznava odprte oči, senzor ToF preverja, ali ima res opravka s tridimenzionalnim objektom določene oblike in velikosti in ne s fotografijo.
Tak skener je potencialno zelo težko preslepiti, hkrati pa je hiter, poceni in neinvaziven. Zato me ne bi presenetilo, če bi v bližnji prihodnosti Apple bo uporabil tehnologijo ToF za ustvarjanje skenerja Face ID naslednje generacije, zato bo tovrstno 3D prepoznavanje obrazov postalo pogostejše.
To mi je uspelo izvedeti v Huawei P40 Pro ima nameščen prav tak senzor ToF, nahaja se med dvojno sprednjo kamero in sodeluje pri procesu odklepanja obraza. In še vedno sem se spraševal, zakaj je vklopljeno odklepanje z obrazom Huawei P40 Pro je veliko hitrejši od svojega predhodnika P30 Pro. Poleg tega je novega paradnega konja vsekakor nemogoče prevarati s pomočjo fotografije. Pravkar sem preveril.
Prihodnje aplikacije za mobilne filmske ustvarjalce
Vsakdo, ki uporablja svoj pametni telefon za snemanje videoposnetkov, bo izjemno zainteresiran, če je mogoče uporabiti tehnologijo 3D ToF za dodajanje majhne globinske ostrine ozadju. Še posebej, če je proces mogoče prenesti v postprodukcijo, saj omogoča večjo fleksibilnost.
Zmožnosti ToF so potencialno zanimive tudi za tiste, ki svojim videoposnetkom dodajajo računalniške učinke. Na primer, ko sledite gibanju v videoposnetku, je bolje, da se predmet čim bolj natančno osredotočite. Uporaba 3D zemljevida bi nam morala omogočiti, da posnamemo vse, kar je izostreno, in kasneje dodamo potrebno zameglitev ozadja in posebne učinke, če je potrebno.
To so samo špekulacije z moje strani, vendar ima 3D skeniranje zagotovo ogromen potencial za izboljšanje postopka zajema videa. To je že dokazala sodobna kinematografija in upam, da se bo kmalu pojavila v potrošniškem segmentu.
Razlog, zakaj te funkcije še niso na voljo v kamerah pametnih telefonov pri snemanju videa, je verjetno povezan s potrebo po večji procesorski moči. Testiranje je dokazalo, da se pametni telefoni pri uporabi senzorja ToF segrejejo. In ker nimajo aktivnega hlajenja je to lahko kar problem.
Ker pa se moč mobilnih procesorjev povečuje, menim, da se bodo kamere ToF vse bolj uporabljale v foto in video aplikacijah.
Eno lahko rečemo zagotovo - ToF ima velik potencial
Že dejstvo, da pametni telefon lahko deluje kot ultra natančen merilnik razdalje ali naprava za nočno opazovanje, pomeni, da nikoli več ne bom kupil telefona brez senzorja ToF. To je ena najzanimivejših tehnologij zadnjih let, ki pa je šele na začetku svoje poti.
Neverjetno je, da tako majhen senzor zmore toliko. Držim pesti, da bodo proizvajalci in razvijalci aplikacij še naprej delali na izkoriščanju njegovih zmogljivosti. Prepričan sem, da bomo še večkrat slišali za nove aplikacije ToF kamere. In kdo bo zdaj rekel, da je to nepotreben dodatek k glavnemu naboru kamer pametnih telefonov?
zanimiv podatek