Fotoaparáty ToF se v poslední době staly nedílnou součástí sady fotoaparátů moderního vlajkového smartphonu. Jak ale fungují, proč jsou vůbec potřeba a kde se dají využít?
"Jsou, budiž," řekne většina uživatelů. Faktem je, že o ToF senzorech je publikováno velmi málo informací. Ledaže by moji kolegové novináři, a ne všichni, a dokonce i specializovaní odborníci, dokázali jejich potřebu jasně vysvětlit. Pojďme vnést do této problematiky trochu jasno. Možná bude část textu obsahovat hodně pojmů, ale pokusím se co nejjednodušeji vysvětlit, co je to kamera ToF, kde můžete její schopnosti uplatnit a jak ji vidět v akci. No, pojďme!
Co je ToF kamera?
Pamatujete si ty ponorkové filmy z druhé světové války? Objevilo se tam sonarové vybavení používané k detekci nepřátelských lodí. Zařízení vyšle zvuk „ping“ do vodního prostoru a čeká na odraz signálu. Podle doby, za kterou se zvuková vlna vrátila, se specialista snažil určit polohu nepřátelské ponorky.
Stejně jako sonar měří kamera ToF dobu, kterou potřebuje světlo k odrazu od objektu. Kamera pak použije data zpoždění k určení vzdálenosti. Senzor ToF tak vytváří trojrozměrnou mapu světa.
Proto se kamerám ToF také někdy říká „hloubkové kamery“. Kamera ToF (Time of Flight) je senzor schopný emitovat nějaký druh světla v infračerveném spektru a následně zaznamenávat rychlost jeho odrazu od objektu. Samotný senzor se skládá ze dvou částí: první je dioda vyzařující infračervené světlo a druhá je speciální světlocitlivá matrice.
Kamera měří dobu, po které se k ní světlo odražené od objektu vrátí. Na základě výpočtů provedených s přesností až nanosekundy je zařízení schopno nejen přesně odhadnout vzdálenost jednotlivých objektů od senzoru, ale také určit jejich tvar. Je pravda, že je velmi podobný sonaru. Pouze v tomto případě vysíláme na objekt místo zvuku světlo.
Senzory fungující na podobném principu se používají i v autonomních autech nebo dokonce vesmírných sondách stavěných NASA. Progresivní miniaturizace a relativně nízké výrobní náklady znamenají, že tuto technologii můžete mít dnes v kapse. Faktem je, že senzory ToF jsou již v mnoha špičkových smartphonech. Zde jsou některá mobilní zařízení vybavená kamerami ToF:
- Samsung Galaxy S10 5G
- Samsung Galaxy Poznámka 10+
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Čestné zobrazení 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Jsem si jistý, že každým rokem se tento seznam bude jen rozšiřovat, protože potenciál tohoto senzoru je prostě obrovský. Snad brzy takový fotoaparát do svých Pixelů nainstaluje i Google. Existuje také naděje, že a Apple bude věnovat pozornost snímači ToF a přispěje k velké popularizaci této technologie, stejně jako plně využije jejích schopností. Ne nadarmo se podobný senzor objevil i v novém iPadu Pro.
Inu, teorie je jasná, nyní se pojďme blíže podívat na to, čeho je ToF kamera schopna v praxi. Je třeba chápat, že tento snímač nemůžete jednoduše vzít a zapnout, ale stále jej můžete v některých aplikacích používat, a to i při fotografování fotoaparátem.
Jak lze použít kameru ToF?
Měříme vzdálenost
Na některých chytrých telefonech Samsung (včetně Note10+, S20+ a S20 Ultra) a Huawei (včetně P30 Pro, Mate 30 Pro, Huawei P40 Pro) si můžete nainstalovat aplikaci pro měření vzdálenosti s názvem Measure.
Vše funguje zcela jednoduše a s působivou přesností. V rámci testů jsem měřil pomocí této aplikace a chytrého telefonu Samsung Galaxy S20 Ultra délka, šířka a úhlopříčka obrazovky vašeho televizoru a telefon udával rozměry s přesností na centimetry.
Rozostření pozadí při fotografování
Jednou z aplikací systému 3D vykreslování může být vytvoření digitální hloubky ostrosti, abyste mohli ke svým fotografiím nebo videím přidat rozmazané pozadí. V tuto chvíli to funguje pouze u fotografií, nikoli u videí. Funkce nám také umožňuje zbavit se nepotřebných předmětů, které se dostaly do rámu, nebo pozadí, které kazí dojem z obrazu.
U některých telefonů navíc snímač ToF podporuje automatické ostření nebo umožňuje přesnější rozmazání pozadí v režimu na výšku. Stručně řečeno, pomáhá vám pořizovat lepší selfie, abyste potěšili své následovníky, jako např Instagram.
Sledování pohybu
Smartphone LG G8 ThinQ má ToF senzor umístěný na předním panelu, který slouží mimo jiné k detekci gest prováděných v prostoru. O možnostech použití takových gest se moc bavit nechci, je lepší se přesvědčit na vlastní oči.
Google Play má také několik pohybových her podobných těm, které podporuje ovladač Microsoft Kinect.
Tvorba 3D modelů a rozšířená realita
O možnosti vytvářet 3D modely pomocí ToF kamery lze mluvit donekonečna. Již nyní si můžete pomocí selfie fotografií z různých úhlů vytvořit model svého obličeje a dokonce jej vytisknout, pokud máte po ruce 3D tiskárnu. Někdo samozřejmě řekne, že to jsou jen hry a zábava. Je ale dost možné, že v budoucnu budou ToF kamery sloužit k vytváření dílů pro auta nebo jiné mechanismy.
Virtuální a rozšířená realita nám stále vytrvale klepe na dveře. Hry s podporou rozšířené reality se stále častěji objevují v chytrých telefonech na Android a iOS. Je to vzrušující, vzdělávací a umožňuje vám trávit čas s prospěchem. Zejména na Play Marketu již nyní najdete velké množství aplikací a her s podporou platformy Google ARCore. Stačí si stáhnout a nainstalovat aplikaci Google Play Services for AR a takové hry a aplikace vám budou dostupné v rozšířené realitě. Pouhé použití ToF kamery vám dává možnost plně si užít efekt rozšířené reality.
Na druhé straně v novém Apple Hloubkový senzor iPadu Pro má na starosti přesnější překrývání virtuálních objektů na obraze z kamery v režimu rozšířené reality.
Smartphone jako zařízení pro noční vidění?
V současné době u většiny zařízení funguje ToF senzor pro uživatele téměř neznatelně, podporuje pouze funkce vyžadující určení hloubky scény.
V Google Play jsem však našel vynikající aplikaci s názvem Night Vision, která umožňuje používat 3D skener v neobvyklé roli. Nainstaloval jsem to na svůj Huawei P30 Pro.
Aplikace zobrazuje v reálném čase, co snímač ToF zachytí. Protože využívá infračervené světlo, které je lidským okem neviditelné, je hloubková mapa jasně viditelná i v naprosté tmě.
Překvapilo mě, jak velkou plochu dokáže tak maličký senzor snímat. Čekal jsem, že se po pár desítkách centimetrů vyfoukne, ale v praxi se ukázalo, že trojrozměrnou mapu celé místnosti vytvoříte během okamžiku. Kamera ToF snadno detekuje tvar malých předmětů na vzdálenost 4-5 metrů.
Takový přístroj pro noční vidění si oblíbí především vaše dítě. Jsem si jistá, že hned poběží prozkoumat ta nejtemnější zákoutí vašeho bytu či domu.
Kamera ToF jako biometrický senzor
Kamera ToF je nejčastěji implementována ve formě dvou miniaturních otvorů, ve kterých je ukryta infračervená dioda a matrice. Zde se nabízí otázka: „Proč Apple nechce tuto technologii používat místo svého systému TrueDepth, jehož více senzorů zabírá více než polovinu šířky obrazovky telefonu?“
Důvodem je pravděpodobně špatná kvalita skenování. Kamery ToF používané v chytrých telefonech mají v současnosti velmi nízké rozlišení (až 240p), což má za následek vysoce pixelované snímky.
Jak vidíte, detaily takového skenování jsou příliš malé na to, aby software přesně identifikoval rysy obličeje.
Osobně však nevidím žádné kontraindikace, podle kterých by skener obličeje nemohl fungovat v hybridním režimu. Teoreticky současně s tím, že selfie kamera analyzuje rysy obličeje a detekuje otevřené oči, senzor ToF zkontroluje, zda skutečně jedná s trojrozměrným objektem určitého tvaru a velikosti, a ne s fotografií.
Takový skener je potenciálně velmi těžké oklamat a přitom je rychlý, levný a neinvazivní. Takže bych se nedivil, kdyby v blízké budoucnosti Apple využije technologii ToF k vytvoření skeneru Face ID nové generace, takže tento druh 3D rozpoznávání obličeje bude stále běžnější.
Podařilo se mi to zjistit v Huawei P40 Pro má nainstalovaný právě takový ToF senzor, je umístěn mezi duální přední kamerou a podílí se na procesu odemykání obličejem. A ještě mě napadlo, proč je zapnuté odemykání obličejem Huawei P40 Pro je mnohem rychlejší než jeho předchůdce P30 Pro. Oklamat novou vlajkovou loď pomocí fotografie navíc rozhodně nelze. Zkontrolováno mnou.
Budoucí aplikace pro mobilní filmaře
Každého, kdo používá svůj smartphone k natáčení videa, bude nesmírně zajímat, zda lze použít technologii 3D ToF pro přidání malé hloubky ostrosti na pozadí. Zvláště pokud lze proces přenést do postprodukce, protože poskytuje větší flexibilitu.
Možnosti ToF jsou také zajímavé pro ty, kteří do svých videí přidávají počítačové efekty. Například při sledování pohybu ve videu je lepší zaostřit na objekt co nejpřesněji. Použití 3D mapy by nám mělo umožnit natočit vše zaostřené a později v případě potřeby přidat potřebné rozostření pozadí a speciální efekty.
Z mé strany je to jen spekulace, ale 3D skenování má určitě obrovský potenciál zlepšit proces snímání videa. To již prokázala moderní kinematografie a doufám, že se brzy objeví i ve spotřebitelském segmentu.
Důvod, proč tyto funkce zatím nejsou dostupné ve fotoaparátech chytrých telefonů při natáčení videa, pravděpodobně souvisí s potřebou zvýšeného výpočetního výkonu. Testování prokázalo, že smartphony se při použití ToF senzoru zahřívají. A jelikož nemají aktivní chlazení, může to být trochu problém.
Ale jak se výkon mobilních procesorů zvyšuje, myslím si, že kamery ToF se budou více používat ve fotografických a video aplikacích.
Jedno lze říci jistě – ToF má velký potenciál
Už jen to, že chytrý telefon může fungovat jako ultrapřesné zařízení na měření vzdálenosti nebo zařízení pro noční vidění, už si nikdy nekoupím telefon bez ToF senzoru. Jedná se o jednu z nejzajímavějších technologií posledních let a je teprve na začátku své cesty.
Je úžasné, že tak malý snímač toho dokáže tolik. Držím palce, aby výrobci a vývojáři aplikací nadále pracovali na využívání jeho možností. Jsem si jistý, že o nových aplikacích kamery ToF ještě nejednou uslyšíme. A kdo teď řekne, že jde o zbytečný doplněk k hlavní sadě fotoaparátů smartphonů?
zajímavé informace