Nedavno su ToF kamere postale sastavni dio seta kamera modernog flagship pametnog telefona. Ali kako rade, zašto su uopće potrebni i gdje se mogu koristiti?
“Jesu, pa neka bude”, reći će većina korisnika. Činjenica je da se o ToF senzorima objavljuje vrlo malo informacija. Osim ako moji kolege novinari, i to ne svi, pa čak i specijalizirani stručnjaci, ne mogu jasno objasniti potrebu za njima. Razjasnimo ovo pitanje. Možda će dio teksta sadržavati dosta pojmova, ali pokušat ću što jednostavnije objasniti što je to ToF kamera, gdje možete primijeniti njene mogućnosti i kako ju vidjeti na djelu. Pa, idemo!
Što je ToF kamera?
Sjećate se onih filmova o podmornicama iz Drugog svjetskog rata? Tamo se pojavila sonarska oprema koja se koristi za otkrivanje neprijateljskih brodova. Uređaj šalje zvučni "ping" u vodeni prostor i čeka da se signal reflektira. Ovisno o vremenu koje je trebalo da se zvučni val vrati, specijalist je pokušao odrediti lokaciju neprijateljske podmornice.
Baš kao i sonar, ToF kamera mjeri vrijeme koje je potrebno svjetlu da se odbije od objekta. Kamera zatim koristi podatke o kašnjenju za određivanje udaljenosti. Tako ToF senzor stvara trodimenzionalnu kartu svijeta.
Zbog toga se ToF kamere ponekad nazivaju i "dubinskim kamerama". ToF kamera (Time of Flight) je senzor sposoban emitirati neku vrstu svjetlosti u infracrvenom spektru i zatim bilježiti brzinu njezine refleksije od objekta. Sam senzor sastoji se od dva dijela: prvi je dioda koja emitira infracrveno svjetlo, a drugi je posebna matrica osjetljiva na svjetlo.
Kamera mjeri vrijeme nakon kojeg se svjetlost reflektirana od objekta vraća na njega. Na temelju izračuna napravljenih s točnošću do nanosekunde, uređaj može ne samo točno procijeniti udaljenost pojedinačnih objekata od senzora, već i odrediti njihov oblik. Istina, vrlo je sličan sonaru. Samo u ovom slučaju objektu šaljemo svjetlost umjesto zvuka.
Senzori koji rade na sličnom principu također se koriste u autonomnim automobilima ili čak svemirskim sondama koje je izradila NASA. Progresivna minijaturizacija i relativno niski troškovi proizvodnje znače da bi ova tehnologija već danas mogla biti u vašem džepu. Činjenica je da se ToF senzori već nalaze u mnogim vrhunskim pametnim telefonima. Evo nekih mobilnih uređaja opremljenih ToF kamerama:
- Samsung Galaxy S10 5G
- Samsung Galaxy Napomena10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Poštovani pogled 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Siguran sam da će se svake godine ovaj popis samo proširivati, jer je potencijal ovog senzora jednostavno ogroman. Možda će uskoro i Google takvu kameru ugraditi u svoje Pixele. Postoji i nada da i Apple posvetit će pozornost ToF senzoru i pridonijeti velikoj popularizaciji ove tehnologije, te u potpunosti iskoristiti njezine mogućnosti. Nije uzalud sličan senzor pojavio u novom iPad Pro.
Dobro, teorija je jasna, sada pogledajmo pobliže za što je ToF kamera sposobna u praksi. Treba imati na umu da ne možete jednostavno uzeti i uključiti ovaj senzor, ali ga svejedno možete koristiti u nekim aplikacijama, čak i kada snimate kamerom.
Kako se može koristiti ToF kamera?
Mjerimo udaljenost
Na nekim pametnim telefonima Samsung (uključujući Note10+, S20+ i S20 Ultra) i Huawei (uključujući P30 Pro, Mate 30 Pro, Huawei P40 Pro) možete instalirati aplikaciju za mjerenje udaljenosti pod nazivom Measure.
Sve radi vrlo jednostavno i s impresivnom točnošću. U sklopu testova sam mjerio pomoću ove aplikacije i pametnog telefona Samsung Galaxy S20 Ultra duljinu, širinu i dijagonalu ekrana vašeg TV-a, a telefon je dao dimenzije na najbliži centimetar.
Zamućenje pozadine prilikom snimanja fotografije
Jedna primjena sustava 3D renderiranja mogla bi biti stvaranje digitalne dubinske oštrine kako biste svojim fotografijama ili videozapisima mogli dodati zamućenu pozadinu. Ovo trenutno radi samo za fotografije, ne i za videozapise. Funkcija nam također omogućuje da se riješimo nepotrebnih predmeta koji su ušli u okvir ili pozadine koje kvare dojam slike.
Osim toga, na nekim telefonima ToF senzor podržava autofokus ili vam omogućuje točnije zamućivanje pozadine u portretnom načinu rada. Ukratko, pomaže vam da napravite bolje selfije kako biste oduševili svoje pratitelje, kao u Instagram.
Praćenje pokreta
LG G8 ThinQ pametni telefon ima ToF senzor koji se nalazi na prednjoj ploči, a služi, između ostalog, i za detekciju gestikulacija koje se izvode u prostoru. O mogućnostima korištenja takvih gesti zapravo ne želim govoriti, bolje je da vidite sami.
Google Play također ima nekoliko pokretnih igara sličnih onima koje podržava kontroler Microsoft Kinect.
Izrada 3D modela i proširene stvarnosti
O mogućnosti izrade 3D modela uz pomoć ToF kamere može se pričati beskonačno. Već sada možete koristiti selfie fotografije iz različitih kutova za izradu modela svog lica, pa čak i isprintati ga ako vam je pri ruci 3D printer. Naravno, netko će reći da su to samo igre i zabava. No vrlo je moguće da će se u budućnosti ToF kamere koristiti za izradu dijelova za automobile ili druge mehanizme.
Virtualna i proširena stvarnost sve upornije kuca na naša vrata. Igre s podrškom za proširenu stvarnost sve se više pojavljuju na pametnim telefonima Android i iOS. Uzbudljivo je, poučno i omogućuje vam da svoje vrijeme provedete s užitkom. Konkretno, na Play Marketu već možete pronaći velik broj aplikacija i igara s podrškom za Google ARCore platformu. Dovoljno je preuzeti i instalirati Google Play Services for AR aplikaciju i takve igre i aplikacije bit će vam dostupne u proširenoj stvarnosti. Samo korištenje ToF kamere daje vam mogućnost potpunog uživanja u efektu proširene stvarnosti.
Zauzvrat, u novom Apple Za točnije preklapanje virtualnih objekata na slici s kamere u modu proširene stvarnosti zadužen je iPad Pro senzor dubine.
Pametni telefon kao uređaj za noćno gledanje?
Trenutačno za većinu uređaja ToF senzor radi gotovo neprimjetno za korisnika, podržavajući samo funkcije koje zahtijevaju određivanje dubine scene.
Međutim, u Google Playu pronašao sam izvrsnu aplikaciju pod nazivom Night Vision, koja vam omogućuje korištenje 3D skenera u neobičnoj ulozi. Ja sam ga instalirao na svoj Huawei P30 Pro.
Aplikacija u stvarnom vremenu prikazuje ono što ToF senzor snima. Budući da koristi infracrveno svjetlo, koje je nevidljivo ljudskom oku, karta dubine je jasno vidljiva čak iu potpunom mraku.
Iznenadilo me koliko veliko područje tako maleni senzor može skenirati. Očekivao sam da će se ispuhati nakon nekoliko desetaka centimetara, no u praksi se pokazalo da se u trenu može napraviti trodimenzionalna mapa cijele prostorije. ToF kamera lako detektira oblik malih predmeta na udaljenosti od 4-5 metara.
Vašem će se djetetu posebno svidjeti takav uređaj za noćno gledanje. Sigurna sam da će odmah potrčati u istraživanje najmračnijih kutaka vašeg stana ili kuće.
ToF kamera kao biometrijski senzor
ToF kamera je najčešće izvedena u obliku dvije minijaturne rupe, u kojima su skrivene infracrvena dioda i matrica. Ovdje se postavlja pitanje: „Zašto Apple ne želi koristiti ovu tehnologiju umjesto svog sustava TrueDepth, čiji višestruki senzori zauzimaju više od polovice širine zaslona telefona?”
Razlog je vjerojatno loša kvaliteta skeniranja. ToF kamere koje se koriste u pametnim telefonima trenutno imaju vrlo nisku razlučivost (do 240p), što rezultira visoko pikseliziranim slikama.
Kao što vidite, detalji takvog skeniranja su premali da bi softver mogao točno identificirati crte lica.
Ali, osobno, ne vidim nikakve kontraindikacije, prema kojima skener lica ne bi mogao raditi u hibridnom načinu rada. Teoretski, u isto vrijeme dok selfie kamera analizira crte lica i detektira otvorene oči, ToF senzor provjerava radi li se doista o trodimenzionalnom objektu određenog oblika i veličine, a ne o fotografiji.
Takav skener je potencijalno vrlo teško prevariti, a u isto vrijeme je brz, jeftin i neinvazivan. Stoga me ne bi iznenadilo da u bliskoj budućnosti Apple će koristiti ToF tehnologiju za izradu sljedeće generacije Face ID skenera, tako da će ova vrsta 3D prepoznavanja lica postati češća.
To sam uspio doznati u Huawei P40 Pro ima ugrađen upravo takav ToF senzor, nalazi se između dvostruke prednje kamere i sudjeluje u procesu otključavanja licem. I još sam se pitao zašto je uključeno otključavanje licem Huawei P40 Pro puno je brži od svog prethodnika, P30 Pro. Uz to, definitivno je nemoguće prevariti novu perjanicu uz pomoć fotografije. Upravo sam provjerio.
Buduće aplikacije za mobilne filmaše
Svatko tko koristi svoj pametni telefon za snimanje videa bit će iznimno zainteresiran može li se 3D ToF tehnologija koristiti za dodavanje male dubinske oštrine pozadini. Osobito ako se proces može prenijeti u postprodukciju, jer pruža veću fleksibilnost.
Također, mogućnosti ToF-a potencijalno su zanimljive onima koji svojim videozapisima dodaju računalne efekte. Na primjer, kada pratite kretanje u videu, bolje je fokusirati se na objekt što je preciznije moguće. Korištenje 3D karte trebalo bi nam omogućiti snimanje svega što je u fokusu, a kasnije dodavanje potrebnog zamućenja pozadine i specijalnih efekata ako je potrebno.
Ovo je samo nagađanje s moje strane, ali 3D skeniranje svakako ima veliki potencijal za poboljšanje procesa snimanja videa. To je već dokazala moderna kinematografija i, nadam se, uskoro će se pojaviti u potrošačkom segmentu.
Razlog zašto ove funkcije još nisu dostupne u kamerama pametnih telefona pri snimanju videa vjerojatno je povezan s potrebom za povećanom procesorskom snagom. Testiranjem je dokazano da se pametni telefoni zagrijavaju kada koriste ToF senzor. A budući da nemaju aktivno hlađenje, to može biti mali problem.
Ali kako se snaga mobilnih procesora povećava, mislim da će se ToF kamere sve više koristiti u foto i video aplikacijama.
Jedno se može reći sigurno - ToF ima veliki potencijal
Sama činjenica da pametni telefon može funkcionirati kao ultraprecizan mjerač udaljenosti ili uređaj za noćno gledanje znači da nikada više neću kupiti telefon bez ToF senzora. Ovo je jedna od najzanimljivijih tehnologija posljednjih godina, a tek je na početku svog puta.
Nevjerojatno je da tako mali senzor može toliko toga. Držim fige da proizvođači i programeri aplikacija nastave raditi na iskorištavanju njegovih mogućnosti. Siguran sam da ćemo više puta čuti za nove primjene ToF kamere. I tko će sada reći da je ovo nepotreban dodatak glavnom setu kamera pametnih telefona?
zanimljiva informacija