Fotoaparáty ToF sa v poslednej dobe stali neoddeliteľnou súčasťou sady fotoaparátov moderného vlajkového smartfónu. Ako však fungujú, prečo sú vôbec potrebné a kde sa dajú využiť?
"Sú, tak buď," povie väčšina používateľov. Faktom je, že o ToF senzoroch je publikovaných veľmi málo informácií. Ibaže moji kolegovia novinári, a nie všetci, a dokonca aj špecializovaní odborníci, nedokážu jasne vysvetliť ich potrebu. Vnesme do tejto problematiky trochu jasnosti. Možno bude časť textu obsahovať veľa pojmov, ale pokúsim sa čo najjednoduchšie vysvetliť, čo je kamera ToF, kde môžete uplatniť jej schopnosti a ako ju vidieť v akcii. Nuž, poďme!
Čo je to kamera ToF?
Pamätáte si tie ponorkové filmy z druhej svetovej vojny? Objavilo sa tam sonarové zariadenie používané na detekciu nepriateľských lodí. Zariadenie vyšle zvuk „ping“ do vodného priestoru a čaká na odraz signálu. V závislosti od času, za ktorý sa zvuková vlna vrátila, sa špecialista snažil určiť polohu nepriateľskej ponorky.
Rovnako ako sonar, kamera ToF meria čas, ktorý potrebuje svetlo na odrazenie sa od objektu. Kamera potom použije údaje o oneskorení na určenie vzdialenosti. Senzor ToF teda vytvára trojrozmernú mapu sveta.
Preto sa kamery ToF niekedy nazývajú aj „hĺbkové kamery“. Kamera ToF (Time of Flight) je senzor schopný vyžarovať nejaký druh svetla v infračervenom spektre a následne zaznamenávať rýchlosť jeho odrazu od objektu. Samotný senzor sa skladá z dvoch častí: prvá je dióda, ktorá vyžaruje infračervené svetlo a druhá je špeciálna svetlocitlivá matrica.
Kamera meria čas, po ktorom sa k nej vráti svetlo odrazené od objektu. Na základe výpočtov vykonaných s presnosťou až nanosekundy je zariadenie schopné nielen presne odhadnúť vzdialenosť jednotlivých objektov od senzora, ale aj určiť ich tvar. Je pravda, že je veľmi podobný sonaru sonaru. Iba v tomto prípade vysielame do objektu svetlo namiesto zvuku.
Senzory fungujúce na podobnom princípe sa používajú aj v autonómnych autách či dokonca vesmírnych sondách zostrojených NASA. Progresívna miniaturizácia a relatívne nízke výrobné náklady znamenajú, že túto technológiu by ste dnes mohli mať vo vrecku. Faktom je, že senzory ToF sú už v mnohých špičkových smartfónoch. Tu sú niektoré mobilné zariadenia vybavené kamerami ToF:
- Samsung Galaxy S10 5G
- Samsung Galaxy Poznámka 10+
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Čestné zobrazenie 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Som si istý, že každý rok sa tento zoznam bude len rozširovať, pretože potenciál tohto snímača je jednoducho obrovský. Snáď čoskoro nainštaluje takýto fotoaparát do svojich Pixelov aj Google. Existuje aj nádej, že a Apple bude venovať pozornosť snímaču ToF a prispeje k veľkej popularizácii tejto technológie, ako aj naplno využije jej schopnosti. Nie nadarmo sa podobný senzor objavil aj v novom iPade Pro.
Nuž, teória je jasná, teraz sa pozrime bližšie na to, čoho je ToF kamera schopná v praxi. Malo by byť zrejmé, že tento snímač nemôžete jednoducho vziať a zapnúť, ale stále ho môžete použiť v niektorých aplikáciách, dokonca aj pri snímaní fotoaparátom.
Ako sa dá použiť kamera ToF?
Meriame vzdialenosť
Na niektorých smartfónoch Samsung (vrátane Note10+, S20+ a S20 Ultra) a Huawei (vrátane P30 Pro, Mate 30 Pro, Huawei P40 Pro) si môžete nainštalovať aplikáciu na meranie vzdialenosti s názvom Measure.
Všetko funguje celkom jednoducho a s pôsobivou presnosťou. V rámci testov som meral pomocou tejto aplikácie a smartfónu Samsung Galaxy S20 Ultra dĺžka, šírka a uhlopriečka obrazovky vášho televízora a telefón udával rozmery s presnosťou na centimetre.
Rozmazanie pozadia pri fotení
Jednou z aplikácií systému 3D vykresľovania môže byť vytvorenie digitálnej hĺbky ostrosti, aby ste mohli k svojim fotografiám alebo videám pridať rozmazané pozadie. Toto momentálne funguje iba pre fotografie, nie pre videá. Funkcia nám tiež umožňuje zbaviť sa nepotrebných predmetov, ktoré sa dostali do rámu, alebo pozadia, ktoré kazia dojem z obrazu.
Na niektorých telefónoch navyše snímač ToF podporuje automatické zaostrovanie alebo umožňuje presnejšie rozostrenie pozadia v režime na výšku. Stručne povedané, pomáha vám robiť lepšie selfie, aby ste potešili svojich sledovateľov, ako napr Instagram.
Sledovanie pohybu
Smartfón LG G8 ThinQ má ToF senzor umiestnený na prednom paneli, ktorý slúži okrem iného na detekciu gest vykonávaných v priestore. O možnostiach využitia takýchto gest sa veľmi baviť nechcem, radšej sa presvedčte sami.
Google Play má tiež niekoľko pohybových hier podobných tým, ktoré podporuje ovládač Microsoft Kinect.
Tvorba 3D modelov a rozšírenej reality
O možnosti tvorby 3D modelov pomocou ToF kamery sa dá rozprávať donekonečna. Už teraz si môžete pomocou selfie fotografií z rôznych uhlov vytvoriť model svojej tváre a dokonca si ho vytlačiť, ak máte po ruke 3D tlačiareň. Samozrejme, niekto povie, že sú to len hry a zábava. Je ale dosť možné, že v budúcnosti budú kamery ToF slúžiť na vytváranie dielov pre autá alebo iné mechanizmy.
Virtuálna a rozšírená realita nám čoraz vytrvalejšie klope na dvere. Hry s podporou rozšírenej reality sa čoraz častejšie objavujú v smartfónoch na Android a iOS. Je to vzrušujúce, vzdelávacie a umožňuje vám tráviť čas s prospechom. Najmä na Play Markete už dnes nájdete veľké množstvo aplikácií a hier s podporou platformy Google ARCore. Stačí si stiahnuť a nainštalovať aplikáciu Google Play Services for AR a takéto hry a aplikácie vám budú dostupné v rozšírenej realite. Je to práve použitie ToF kamery, ktoré vám umožní naplno si užiť efekt rozšírenej reality.
Na druhej strane v novom Apple Za presnejšie prekrytie virtuálnych objektov na obraze z kamery v režime rozšírenej reality je zodpovedný hĺbkový senzor iPad Pro.
Smartfón ako zariadenie na nočné videnie?
V súčasnosti pre väčšinu zariadení funguje snímač ToF pre používateľa takmer nepostrehnuteľne, podporuje len funkcie vyžadujúce určenie hĺbky scény.
V Google Play som však našiel výbornú aplikáciu s názvom Night Vision, ktorá vám umožňuje využiť 3D skener v nezvyčajnej úlohe. Nainštaloval som to na môj Huawei P30 Pro.
Aplikácia zobrazuje v reálnom čase, čo snímač ToF zachytí. Keďže využíva infračervené svetlo, ktoré je pre ľudské oko neviditeľné, je hĺbková mapa dobre viditeľná aj v úplnej tme.
Bol som prekvapený, akú veľkú plochu dokáže taký maličký senzor nasnímať. Čakal som, že sa po pár desiatkach centimetrov vyfúkne, no v praxi sa ukázalo, že v okamihu vytvoríte trojrozmernú mapu celej miestnosti. Kamera ToF ľahko rozpozná tvar malých predmetov na vzdialenosť 4-5 metrov.
Takýto prístroj na nočné videnie si obľúbi najmä vaše dieťa. Som si istý, že sa hneď rozbehne preskúmať tie najtemnejšie zákutia vášho bytu či domu.
Kamera ToF ako biometrický senzor
Kamera ToF je najčastejšie implementovaná vo forme dvoch miniatúrnych otvorov, v ktorých je ukrytá infračervená dióda a matrica. Tu vyvstáva otázka: „Prečo Apple nechce túto technológiu používať namiesto svojho systému TrueDepth, ktorého viaceré senzory zaberajú viac ako polovicu šírky obrazovky telefónu?“
Dôvodom je pravdepodobne nízka kvalita skenovania. Kamery ToF používané v smartfónoch majú v súčasnosti veľmi nízke rozlíšenie (až 240p), čo má za následok vysoko pixelované obrázky.
Ako vidíte, detaily takéhoto skenovania sú príliš malé na to, aby softvér mohol presne identifikovať črty tváre.
Osobne však nevidím žiadne kontraindikácie, podľa ktorých by skener tváre nemohol fungovať v hybridnom režime. Teoreticky, v rovnakom čase, keď selfie kamera analyzuje črty tváre a deteguje otvorené oči, snímač ToF skontroluje, či sa skutočne zaoberá trojrozmerným objektom určitého tvaru a veľkosti, a nie fotografiou.
Takýto skener je potenciálne veľmi ťažké oklamať a zároveň je rýchly, lacný a neinvazívny. Takže by som sa nečudoval, keby v blízkej budúcnosti Apple použije technológiu ToF na vytvorenie skenera Face ID novej generácie, takže tento druh 3D rozpoznávania tváre sa stane bežnejším.
Podarilo sa mi to zistiť v Huawei P40 Pro má nainštalovaný práve takýto ToF senzor, nachádza sa medzi duálnym predným fotoaparátom a podieľa sa na procese odomykania tvárou. A ešte ma napadlo, prečo je zapnuté odomykanie tvárou Huawei P40 Pro je oveľa rýchlejší ako jeho predchodca P30 Pro. Navyše novú vlajkovú loď pomocou fotografie rozhodne nemožno oklamať. Len som to skontroloval.
Budúce aplikácie pre mobilných filmárov
Každého, kto používa svoj smartfón na natáčanie videa, bude mimoriadne zaujímať, či je možné použiť technológiu 3D ToF na pridanie malej hĺbky ostrosti do pozadia. Najmä ak je možné proces preniesť do postprodukcie, pretože poskytuje väčšiu flexibilitu.
Funkcie ToF sú tiež potenciálne zaujímavé pre tých, ktorí do svojich videí pridávajú počítačové efekty. Napríklad pri sledovaní pohybu vo videu je lepšie zamerať sa na objekt čo najpresnejšie. Použitie 3D mapy by nám malo umožniť nasnímať všetko zaostrené a neskôr v prípade potreby pridať potrebné rozostrenie pozadia a špeciálne efekty.
Z mojej strany sú to len špekulácie, ale 3D skenovanie má určite obrovský potenciál na zlepšenie procesu snímania videa. To už dokázala moderná kinematografia a dúfam, že sa čoskoro objaví aj v spotrebiteľskom segmente.
Dôvod, prečo tieto funkcie zatiaľ nie sú dostupné vo fotoaparátoch smartfónov pri natáčaní videa, pravdepodobne súvisí s potrebou zvýšeného výpočtového výkonu. Testovanie dokázalo, že smartfóny sa pri používaní ToF senzora zahrievajú. A keďže nemajú aktívne chladenie, môže to byť trochu problém.
Ale ako sa výkon mobilných procesorov zvyšuje, myslím si, že ToF kamery sa budú viac používať vo fotografických a video aplikáciách.
Jedno sa dá povedať s istotou – ToF má veľký potenciál
Už len to, že smartfón môže fungovať ako ultra presné zariadenie na meranie vzdialenosti alebo nočné videnie, znamená, že si už nikdy nekúpim telefón bez ToF senzora. Ide o jednu z najzaujímavejších technológií posledných rokov a je len na začiatku svojej cesty.
Je úžasné, že taký malý snímač dokáže tak veľa. Držím palce, aby výrobcovia a vývojári aplikácií naďalej pracovali na využívaní jeho možností. Som si istý, že o nových aplikáciách fotoaparátu ToF ešte budeme počuť. A kto teraz povie, že ide o zbytočný doplnok k hlavnej zostave fotoaparátov smartfónov?
zaujímavé informácie