Nylig har ToF-kameraer blitt en integrert del av kamerasettet til en moderne flaggskipsmarttelefon. Men hvordan fungerer de, hvorfor trengs de i det hele tatt og hvor kan de brukes?
«Det er de, så skal det være», vil de fleste brukere si. Faktum er at det publiseres svært lite informasjon om ToF-sensorer. Med mindre mine medjournalister, og ikke alle, og til og med spesialiserte eksperter, tydelig kan forklare behovet for dem. La oss bringe litt klarhet i denne saken. Kanskje en del av teksten vil inneholde mange begreper, men jeg vil prøve å forklare så enkelt som mulig hva et ToF-kamera er, hvor du kan bruke dets evner og hvordan du kan se det i aksjon. Vel, la oss gå!
Hva er et ToF-kamera?
Husker du de ubåtfilmene fra andre verdenskrig? Ekkoloddutstyr som ble brukt til å oppdage fiendtlige skip dukket opp der. Enheten sender en lyd "ping" inn i vannrommet og venter på at signalet skal reflekteres. Avhengig av tiden det tok før lydbølgen kom tilbake, prøvde spesialisten å bestemme plasseringen av fiendens ubåt.
Akkurat som ekkolodd, måler et ToF-kamera tiden det tar for lys å sprette av et objekt. Kameraet bruker deretter forsinkelsesdataene til å bestemme avstanden. Dermed lager ToF-sensoren et tredimensjonalt kart over verden.
Det er derfor ToF-kameraer også noen ganger kalles "dybdekameraer". ToF-kameraet (Time of Flight) er en sensor som er i stand til å sende ut en slags lys i det infrarøde spekteret og deretter registrere hastigheten på dets refleksjon fra objektet. Selve sensoren består av to deler: den første er en diode som sender ut infrarødt lys, og den andre er en spesiell lysfølsom matrise.
Kameraet måler tiden før lyset som reflekteres fra objektet returnerer til det. Basert på beregninger gjort med nøyaktighet opptil et nanosekund, er enheten i stand til ikke bare å nøyaktig estimere avstanden til individuelle objekter fra sensoren, men også å bestemme formen deres. Riktignok er det veldig likt ekkolodd. Bare i dette tilfellet sender vi lys til objektet i stedet for lyd.
Sensorer som fungerer etter et lignende prinsipp brukes også i autonome biler eller til og med romsonder bygget av NASA. Progressiv miniatyrisering og relativt lave produksjonskostnader betyr at denne teknologien kan være i lommen din i dag. Faktum er at ToF-sensorer allerede er i mange toppsmarttelefoner. Her er noen mobile enheter utstyrt med ToF-kameraer:
- Samsung Galaxy S10 5G
- Samsung Galaxy Merknad 10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20 Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Ærevisning 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Jeg er sikker på at hvert år denne listen bare vil utvide seg, fordi potensialet til denne sensoren rett og slett er enormt. Kanskje snart vil Google også installere et slikt kamera i sine Pixels. Det er også håp om at og Apple vil ta hensyn til ToF-sensoren og bidra til den store populariseringen av denne teknologien, samt gjøre full bruk av dens evner. Det er ikke for ingenting at en lignende sensor dukket opp i den nye iPad Pro.
Vel, teorien er klar, la oss nå se nærmere på hva ToF-kameraet er i stand til i praksis. Det skal forstås at du ikke bare kan ta og slå på denne sensoren, men du kan fortsatt bruke den i noen applikasjoner, selv når du fotograferer med et kamera.
Hvordan kan et ToF-kamera brukes?
Vi måler avstanden
På noen smarttelefoner Samsung (inkludert Note10+, S20+ og S20 Ultra) og Huawei (inkludert P30 Pro, Mate 30 Pro, Huawei P40 Pro) kan du installere en avstandsmålingsapp kalt Measure.
Alt fungerer ganske enkelt og med imponerende nøyaktighet. Som en del av testene målte jeg ved hjelp av denne applikasjonen og en smarttelefon Samsung Galaxy S20 Ultra lengde, bredde og diagonal på TV-skjermen din, og telefonen ga dimensjonene til nærmeste centimeter.
Bakgrunnsuskarphet når du tar et bilde
En applikasjon av et 3D-gjengivelsessystem kan være å lage digital dybdeskarphet slik at du kan legge til en uskarp bakgrunn til bildene eller videoene dine. Dette fungerer kun for bilder for øyeblikket, ikke videoer. Funksjonen lar oss også kvitte oss med unødvendige gjenstander som har kommet inn i rammen eller bakgrunner som ødelegger inntrykket av bildet.
I tillegg, på noen telefoner, støtter ToF-sensoren autofokus eller lar deg uskarpe bakgrunnen mer nøyaktig i portrettmodus. Kort sagt, det hjelper deg å ta bedre selfies for å glede følgerne dine, som i Instagram.
Bevegelsessporing
LG G8 ThinQ-smarttelefonen har en ToF-sensor plassert på frontpanelet, som blant annet brukes til å oppdage gester utført i verdensrommet. Jeg vil egentlig ikke snakke om mulighetene for å bruke slike bevegelser, det er bedre å se selv.
Google Play har også flere bevegelsesspill som ligner på de som støttes av kontrolleren Microsoft Kinect.
Oppretting av 3D-modeller og utvidet virkelighet
Muligheten for å lage 3D-modeller ved hjelp av et ToF-kamera kan snakkes uendelig om. Allerede nå kan du bruke selfie-bilder fra forskjellige vinkler for å lage en modell av ansiktet ditt og til og med skrive det ut hvis du har en 3D-printer for hånden. Selvfølgelig vil noen si at dette bare er spill og underholdning. Men det er godt mulig at ToF-kameraer i fremtiden vil bli brukt til å lage deler til biler eller andre mekanismer.
Virtuell og utvidet virkelighet banker stadig mer vedvarende på døren vår. Spill med støtte for utvidet virkelighet vises i økende grad på smarttelefoner Android og iOS. Det er spennende, lærerikt og lar deg bruke tiden din med fordel. Spesielt i Play Market kan du allerede finne et stort antall applikasjoner og spill med støtte for Google ARCore-plattformen. Det er nok å laste ned og installere Google Play Services for AR-applikasjonen, og slike spill og applikasjoner vil være tilgjengelige for deg i utvidet virkelighet. Det er nettopp bruken av ToF-kameraet som lar deg fullt ut nyte effekten av utvidet virkelighet.
I sin tur i det nye Apple iPad Pro-dybdesensoren er ansvarlig for mer nøyaktig overlegg av virtuelle objekter på bildet fra kameraet i utvidet virkelighet-modus.
Smarttelefon som nattsynsenhet?
For øyeblikket, for de fleste enheter, fungerer ToF-sensoren nesten umerkelig for brukeren, og støtter kun funksjoner som krever å bestemme dybden av scenen.
I Google Play fant jeg imidlertid en utmerket applikasjon kalt Night Vision, som lar deg bruke 3D-skanneren i en uvanlig rolle. Jeg installerte den på min Huawei P30 Pro.
Appen viser i sanntid hva ToF-sensoren fanger opp. Fordi den bruker infrarødt lys, som er usynlig for det menneskelige øyet, er dybdekartet godt synlig selv i totalt mørke.
Jeg ble overrasket over hvor stort område en så liten sensor kan skanne. Jeg forventet at den ville tømmes etter noen titalls centimeter, men i praksis viste det seg at du kan lage et tredimensjonalt kart over hele rommet på et øyeblikk. ToF-kameraet oppdager enkelt formen til små gjenstander i en avstand på 4-5 meter.
Barnet ditt vil spesielt like en slik nattsynsenhet. Jeg er sikker på at hun umiddelbart vil løpe for å utforske de mørkeste hjørnene av leiligheten eller huset ditt.
ToF-kamera som biometrisk sensor
ToF-kameraet er oftest implementert i form av to miniatyrhull, der den infrarøde dioden og matrisen er skjult. Her oppstår spørsmålet: "Hvorfor Apple ønsker ikke å bruke denne teknologien i stedet for TrueDepth-systemet, hvis flere sensorer tar opp mer enn halvparten av bredden av telefonens skjerm?»
Årsaken er sannsynligvis den dårlige kvaliteten på skanningen. ToF-kameraer som brukes i smarttelefoner har for tiden svært lav oppløsning (opptil 240p), noe som resulterer i svært pikselerte bilder.
Som du kan se, er detaljene i en slik skanning for små til at programvaren kan identifisere ansiktstrekk nøyaktig.
Men personlig ser jeg ingen kontraindikasjoner, ifølge hvilke ansiktsskanneren ikke kunne fungere i hybridmodus. Teoretisk sett, samtidig som selfie-kameraet analyserer ansiktstrekk og oppdager åpne øyne, sjekker ToF-sensoren om den virkelig har å gjøre med et tredimensjonalt objekt av en viss form og størrelse, og ikke et bilde.
En slik skanner er potensielt svært vanskelig å lure, og samtidig er den rask, billig og ikke-invasiv. Så jeg ville ikke bli overrasket hvis det er i nær fremtid Apple vil bruke ToF-teknologi for å lage en neste generasjons Face ID-skanner, så denne typen 3D-ansiktsgjenkjenning vil bli mer vanlig.
Det klarte jeg å finne ut av Huawei P40 Pro har nettopp en slik ToF-sensor installert, den er plassert mellom det doble frontkameraet og deltar i ansiktsopplåsingsprosessen. Og jeg lurte fortsatt på hvorfor opplåsing med ansikt er på Huawei P40 Pro er mye raskere enn forgjengeren, P30 Pro. I tillegg er det definitivt umulig å lure det nye flaggskipet ved hjelp av et bilde. Bare sjekket av meg.
Fremtidige apper for mobile filmskapere
Alle som bruker smarttelefonen sin til å ta opp video vil være ekstremt interessert i om 3D ToF-teknologi kan brukes til å legge til en liten dybdeskarphet i bakgrunnen. Spesielt hvis prosessen kan overføres til etterproduksjon, da det gir større fleksibilitet.
ToF-funksjoner er også av potensiell interesse for de som legger til dataeffekter til videoene sine. For eksempel, når du sporer bevegelse i en video, er det bedre å fokusere på objektet så nøyaktig som mulig. Ved å bruke et 3D-kart bør vi kunne fotografere alt i fokus, og senere legge til nødvendig bakgrunnsuskarphet og spesialeffekter om nødvendig.
Dette er bare spekulasjoner fra min side, men 3D-skanning har absolutt et stort potensial for å forbedre videoopptaksprosessen. Dette er allerede bevist av moderne kino, og jeg håper snart vil dukke opp i forbrukersegmentet.
Grunnen til at disse funksjonene foreløpig ikke er tilgjengelige i smarttelefonkameraer ved videoopptak, er trolig knyttet til behovet for å ha økt prosessorkraft. Testing har vist at smarttelefoner varmes opp når de bruker ToF-sensoren. Og siden de ikke har aktiv kjøling, kan dette være litt av et problem.
Men etter hvert som kraften til mobile prosessorer øker, tror jeg ToF-kameraer vil bli mer utbredt i foto- og videoapplikasjoner.
En ting kan sies sikkert – ToF har et stort potensial
Selve det faktum at en smarttelefon kan fungere som en ultrapresist avstandsmåler eller nattsynsenhet, gjør at jeg aldri igjen kommer til å kjøpe en telefon uten ToF-sensor. Dette er en av de mest interessante teknologiene de siste årene, og det er bare i begynnelsen av reisen.
Det er utrolig at en så liten sensor kan gjøre så mye. Jeg krysser fingrene for at produsenter og apputviklere vil fortsette å jobbe med å utnytte mulighetene. Jeg er sikker på at vi kommer til å høre mer enn en gang om nye bruksområder for ToF-kameraet. Og hvem vil nå si at dette er et unødvendig tillegg til hovedsettet med smarttelefonkameraer?
interessant informasjon