Nyligen har ToF-kameror blivit en integrerad del av kamerauppsättningen i en modern flaggskeppssmartphone. Men hur fungerar de, varför behövs de överhuvudtaget och var kan de användas?
"De är, så är det", kommer de flesta användare att säga. Faktum är att väldigt lite information publiceras om ToF-sensorer. Såvida inte mina journalistkollegor, och inte alla, och även specialiserade experter, tydligt kan förklara behovet av dem. Låt oss få lite klarhet i denna fråga. Kanske kommer en del av texten att innehålla många termer, men jag ska försöka förklara så enkelt som möjligt vad en ToF-kamera är, var du kan tillämpa dess möjligheter och hur du ser den i aktion. Nåväl, låt oss gå!
Vad är en ToF-kamera?
Kommer du ihåg de där ubåtsfilmerna från andra världskriget? Ekolodsutrustning som användes för att upptäcka fiendens fartyg dök upp där. Enheten skickar ett ljud "ping" in i vattenutrymmet och väntar på att signalen ska reflekteras. Beroende på hur lång tid det tog för ljudvågen att återvända försökte specialisten bestämma platsen för fiendens ubåt.
Precis som ekolod mäter en ToF-kamera hur lång tid det tar för ljus att studsa från ett föremål. Kameran använder sedan fördröjningsdata för att bestämma avståndet. Således skapar ToF-sensorn en tredimensionell karta över världen.
Det är därför som ToF-kameror ibland kallas för "djupkameror". ToF-kameran (Time of Flight) är en sensor som kan avge något slags ljus i det infraröda spektrumet och sedan registrera hastigheten för dess reflektion från objektet. Själva sensorn består av två delar: den första är en diod som avger infrarött ljus, och den andra är en speciell ljuskänslig matris.
Kameran mäter den tid efter vilken ljuset som reflekteras från föremålet återvänder till det. Baserat på beräkningar gjorda med noggrannhet upp till en nanosekund kan enheten inte bara noggrant uppskatta avståndet mellan enskilda objekt från sensorn, utan också bestämma deras form. Det är sant att det är väldigt likt ekolod. Endast i detta fall skickar vi ljus till objektet istället för ljud.
Sensorer som fungerar enligt en liknande princip används också i autonoma bilar eller till och med rymdsonder byggda av NASA. Progressiv miniatyrisering och relativt låga tillverkningskostnader gör att denna teknik kan vara i din ficka idag. Faktum är att ToF-sensorer redan finns i många populära smartphones. Här är några mobila enheter utrustade med ToF-kameror:
- Samsung Galaxy S10 5G
- Samsung Galaxy Not10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20 Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Ärade Visa 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Jag är säker på att varje år den här listan bara kommer att utökas, eftersom potentialen för denna sensor helt enkelt är enorm. Kanske kommer Google snart också att installera en sådan kamera i sina Pixels. Det finns också hopp om att och Apple kommer att uppmärksamma ToF-sensorn och bidra till den stora populariseringen av denna teknik, samt utnyttja dess kapacitet fullt ut. Det är inte för inte som en liknande sensor dök upp i nya iPad Pro.
Tja, teorin är klar, låt oss nu titta närmare på vad ToF-kameran är kapabel till i praktiken. Det ska förstås att du inte bara kan ta och slå på den här sensorn, men du kan fortfarande använda den i vissa applikationer, även när du fotograferar med en kamera.
Hur kan en ToF-kamera användas?
Vi mäter avståndet
På vissa smartphones Samsung (inklusive Note10+, S20+ och S20 Ultra) och Huawei (inklusive P30 Pro, Mate 30 Pro, Huawei P40 Pro) kan du installera en avståndsmätningsapp som heter Mät.
Allt fungerar helt enkelt och med imponerande noggrannhet. Som en del av testerna mätte jag med den här applikationen och en smartphone Samsung Galaxy S20 Ultra längd, bredd och diagonal på din TV-skärm, och telefonen gav måtten till närmaste centimeter.
Bakgrundsoskärpa när du tar ett foto
En tillämpning av ett 3D-renderingssystem kan vara att skapa digitalt skärpedjup så att du kan lägga till en suddig bakgrund till dina foton eller videor. Detta fungerar bara för foton för tillfället, inte videor. Funktionen låter oss också göra oss av med onödiga föremål som kommit in i ramen eller bakgrunder som förstör intrycket av bilden.
På vissa telefoner stöder ToF-sensorn dessutom autofokus eller låter dig sudda ut bakgrunden mer exakt i porträttläge. Kort sagt, det hjälper dig att ta bättre selfies för att glädja dina följare, som i Instagram.
Rörelsespårning
LG G8 ThinQ-smarttelefonen har en ToF-sensor placerad på frontpanelen, som bland annat används för att upptäcka gester som utförs i rymden. Jag vill egentligen inte prata om möjligheterna att använda sådana gester, det är bättre att se själv.
Google Play har också flera rörelsespel liknande de som stöds av handkontrollen Microsoft Kinect.
Skapande av 3D-modeller och augmented reality
Möjligheten att skapa 3D-modeller med hjälp av en ToF-kamera kan man prata om i det oändliga. Redan nu kan du använda selfiebilder från olika vinklar för att skapa en modell av ditt ansikte och till och med skriva ut den om du har en 3D-skrivare till hands. Naturligtvis kommer någon att säga att det här bara är spel och underhållning. Men det är fullt möjligt att ToF-kameror i framtiden kommer att användas för att skapa delar till bilar eller andra mekanismer.
Virtual och augmented reality knackar allt mer ihärdigt på vår dörr. Spel med stöd för förstärkt verklighet dyker alltmer upp i smartphones på Android och iOS. Det är spännande, lärorikt och låter dig spendera din tid med nytta. I synnerhet på Play Market kan du redan hitta ett stort antal applikationer och spel med stöd för Google ARCore-plattformen. Det räcker med att ladda ner och installera applikationen Google Play Services för AR, och sådana spel och applikationer kommer att vara tillgängliga för dig i förstärkt verklighet. Det är just användningen av ToF-kameran som låter dig njuta fullt ut av effekten av förstärkt verklighet.
I sin tur i det nya Apple iPad Pro-djupsensorn ansvarar för mer exakt överlagring av virtuella objekt på bilden från kameran i förstärkt verklighetsläge.
Smartphone som mörkerseende?
För närvarande, för de flesta enheter, fungerar ToF-sensorn nästan omärkligt för användaren, och stöder endast funktioner som kräver bestämning av scenens djup.
Men i Google Play hittade jag en utmärkt applikation som heter Night Vision, som låter dig använda 3D-skannern i en ovanlig roll. Jag installerade den på min Huawei P30 Pro.
Appen visar i realtid vad ToF-sensorn fångar. Eftersom den använder infrarött ljus, som är osynligt för det mänskliga ögat, är djupkartan tydligt synlig även i totalt mörker.
Jag blev förvånad över hur stort område en så liten sensor kan skanna. Jag förväntade mig att den skulle tömmas efter några tiotals centimeter, men i praktiken visade det sig att man kan skapa en tredimensionell karta över hela rummet på ett ögonblick. ToF-kameran känner enkelt av formen på små föremål på ett avstånd av 4-5 meter.
Ditt barn kommer särskilt att gilla en sådan mörkerseende. Jag är säker på att hon omedelbart kommer att springa för att utforska de mörkaste hörnen av din lägenhet eller ditt hus.
ToF-kamera som biometrisk sensor
ToF-kameran är oftast implementerad i form av två miniatyrhål, i vilka den infraröda dioden och matrisen är gömda. Här uppstår frågan: "Varför Apple vill inte använda den här tekniken istället för sitt TrueDepth-system, vars flera sensorer tar upp mer än halva bredden av telefonens skärm?”
Anledningen är förmodligen den dåliga kvaliteten på skanningen. ToF-kameror som används i smartphones har för närvarande en mycket låg upplösning (upp till 240p), vilket resulterar i mycket pixlade bilder.
Som du kan se är detaljerna i en sådan skanning för små för att programvaran ska kunna identifiera ansiktsdrag exakt.
Men personligen ser jag inga kontraindikationer, enligt vilka ansiktsskannern inte kunde fungera i hybridläge. Teoretiskt sett, samtidigt som selfiekameran analyserar ansiktsdrag och upptäcker öppna ögon, kontrollerar ToF-sensorn om den verkligen har att göra med ett tredimensionellt föremål av en viss form och storlek, och inte ett foto.
En sådan skanner är potentiellt mycket svår att lura, och samtidigt är den snabb, billig och icke-invasiv. Så jag skulle inte bli förvånad om det är inom en snar framtid Apple kommer att använda ToF-teknik för att skapa en nästa generations Face ID-skanner, så den här typen av 3D-ansiktsigenkänning kommer att bli vanligare.
Jag lyckades ta reda på det Huawei P40 Pro har just en sådan ToF-sensor installerad, den är placerad mellan den dubbla främre kameran och deltar i ansiktsupplåsningsprocessen. Och jag undrade fortfarande varför upplåsning med ansikte är på Huawei P40 Pro är mycket snabbare än sin föregångare, P30 Pro. Dessutom är det definitivt omöjligt att lura det nya flaggskeppet med hjälp av ett foto. Kollade precis av mig.
Framtida appar för mobila filmskapare
Alla som använder sin smartphone för att spela in video kommer att vara extremt intresserade om 3D ToF-teknik kan användas för att lägga till ett grunt skärpedjup i bakgrunden. Särskilt om processen kan överföras till efterproduktion, eftersom det ger mer flexibilitet.
Dessutom är ToF-funktioner av potentiellt intresse för dem som lägger till datoreffekter till sina videor. Till exempel, när du spårar rörelse i en video, är det bättre att fokusera på objektet så exakt som möjligt. Att använda en 3D-karta bör tillåta oss att fotografera allt i fokus och senare lägga till nödvändig bakgrundsoskärpa och specialeffekter om det behövs.
Detta är bara spekulationer från min sida, men 3D-skanning har verkligen en enorm potential att förbättra videoinspelningsprocessen. Detta har redan bevisats av modern film och, hoppas jag, snart kommer att dyka upp i konsumentsegmentet.
Anledningen till att dessa funktioner ännu inte är tillgängliga i smarttelefonkameror vid videoinspelning är troligen relaterad till behovet av ökad processorkraft. Tester har visat att smartphones värms upp när ToF-sensorn används. Och eftersom de inte har aktiv kylning kan detta vara lite av ett problem.
Men när kraften hos mobila processorer ökar tror jag att ToF-kameror kommer att bli mer utbredda i foto- och videoapplikationer.
En sak kan sägas säkert – ToF har stor potential
Just det faktum att en smartphone kan fungera som en ultraprecis avståndsmätare eller mörkerseende gör att jag aldrig mer kommer att köpa en telefon utan en ToF-sensor. Detta är en av de senaste årens mest intressanta teknologier, och det är bara i början av sin resa.
Det är fantastiskt att en så liten sensor kan göra så mycket. Jag håller tummarna för att tillverkare och apputvecklare kommer att fortsätta arbeta med att utnyttja dess möjligheter. Jag är säker på att vi kommer att höra mer än en gång om nya tillämpningar av ToF-kameran. Och vem kommer nu att säga att detta är ett onödigt tillägg till huvuduppsättningen smartphonekameror?
Intressant information