Onlangs zijn ToF-camera's een integraal onderdeel geworden van de cameraset van een moderne vlaggenschip-smartphone. Maar hoe werken ze, waarom zijn ze eigenlijk nodig en waar kunnen ze worden gebruikt?
"Dat zijn ze, het zij zo", zullen de meeste gebruikers zeggen. Feit is dat er heel weinig informatie wordt gepubliceerd over ToF-sensoren. Tenzij mijn collega-journalisten, en niet allemaal, en zelfs gespecialiseerde experts, de noodzaak ervan duidelijk kunnen uitleggen. Laten we wat duidelijkheid scheppen in deze kwestie. Misschien zal een deel van de tekst veel termen bevatten, maar ik zal proberen zo eenvoudig mogelijk uit te leggen wat een ToF-camera is, waar je de mogelijkheden ervan kunt toepassen en hoe je hem in actie kunt zien. Nou laten we gaan!
Wat is een ToF-camera?
Herinner je je die onderzeeërfilms uit de Tweede Wereldoorlog nog? Daar verscheen sonarapparatuur die werd gebruikt om vijandelijke schepen te detecteren. Het apparaat stuurt een geluid "ping" de waterruimte in en wacht tot het signaal wordt weerkaatst. Afhankelijk van de tijd die de geluidsgolf nodig had om terug te keren, probeerde de specialist de locatie van de vijandelijke onderzeeër te bepalen.
Net als sonar meet een ToF-camera de tijd die het licht nodig heeft om van een object te weerkaatsen. De camera gebruikt vervolgens de vertragingsgegevens om de afstand te bepalen. Zo creëert de ToF-sensor een driedimensionale kaart van de wereld.
Daarom worden ToF-camera's ook wel eens "dieptecamera's" genoemd. De ToF-camera (Time of Flight) is een sensor die in staat is om een soort licht in het infraroodspectrum uit te zenden en vervolgens de snelheid van de reflectie van het object vast te leggen. De sensor zelf bestaat uit twee delen: de eerste is een diode die infrarood licht uitstraalt en de tweede is een speciale lichtgevoelige matrix.
De camera meet de tijd waarna het door het object gereflecteerde licht erop terugkeert. Op basis van berekeningen die tot op een nanoseconde nauwkeurig zijn gemaakt, kan het apparaat niet alleen de afstand van afzonderlijke objecten tot de sensor nauwkeurig inschatten, maar ook hun vorm bepalen. Toegegeven, het lijkt erg op sonar-sonar. Alleen in dit geval sturen we licht naar het object in plaats van geluid.
Sensoren die volgens een soortgelijk principe werken, worden ook gebruikt in autonome auto's of zelfs ruimtesondes die door NASA zijn gebouwd. Progressieve miniaturisatie en relatief lage productiekosten betekenen dat deze technologie vandaag in uw zak zou kunnen zitten. Feit is dat ToF-sensoren al in veel topsmartphones zitten. Hier zijn enkele mobiele apparaten die zijn uitgerust met ToF-camera's:
- Samsung Galaxy S10 5G
- Samsung Galaxy Opmerking10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Dunne Q
- OPPO RX17 Pro
- Eer Bekijk 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Ik weet zeker dat deze lijst elk jaar alleen maar groter zal worden, want het potentieel van deze sensor is gewoon enorm. Wellicht installeert Google binnenkort ook zo'n camera in zijn Pixels. Er is ook hoop dat en Apple zal aandacht besteden aan de ToF-sensor en bijdragen aan de grote populariteit van deze technologie, evenals ten volle gebruik maken van de mogelijkheden ervan. Niet voor niets verscheen er een vergelijkbare sensor in de nieuwe iPad Pro.
Welnu, de theorie is duidelijk, laten we nu eens nader bekijken waartoe de ToF-camera in de praktijk in staat is. Het moet duidelijk zijn dat u deze sensor niet zomaar kunt pakken en inschakelen, maar u kunt hem nog steeds in sommige toepassingen gebruiken, zelfs als u met een camera fotografeert.
Hoe kan een ToF-camera worden gebruikt?
Wij meten de afstand
Op sommige smartphones Samsung (inclusief Note10+, S20+ en S20 Ultra) en Huawei (inclusief P30 Pro, Mate 30 Pro, Huawei P40 Pro) kunt u een app voor afstandsmeting met de naam Measure installeren.
Alles werkt heel eenvoudig en met een indrukwekkende nauwkeurigheid. Als onderdeel van de tests heb ik gemeten met deze applicatie en een smartphone Samsung Galaxy S20 Ultra lengte, breedte en diagonaal van je tv-scherm en de telefoon gaf de afmetingen tot op de centimeter nauwkeurig aan.
Achtergrondonscherpte bij het maken van een foto
Een toepassing van een 3D-renderingsysteem kan zijn om digitale scherptediepte te creëren, zodat u een onscherpe achtergrond aan uw foto's of video's kunt toevoegen. Dit werkt momenteel alleen voor foto's, niet voor video's. De functie stelt ons ook in staat om onnodige objecten te verwijderen die in het frame zijn gekomen of achtergronden die de indruk van de afbeelding bederven.
Bovendien ondersteunt de ToF-sensor op sommige telefoons autofocus of kunt u de achtergrond nauwkeuriger vervagen in portretmodus. Kortom, het helpt je betere selfies te maken om je volgers te verrassen, zoals in Instagram.
Beweging volgen
De LG G8 ThinQ-smartphone heeft een ToF-sensor op het voorpaneel, die onder andere wordt gebruikt om bewegingen in de ruimte te detecteren. Ik wil niet echt praten over de mogelijkheden van het gebruik van dergelijke gebaren, het is beter om het zelf te zien.
Google Play heeft ook verschillende bewegingsgames die lijken op de games die door de controller worden ondersteund Microsoft Kinect.
Creatie van 3D-modellen en augmented reality
Over de mogelijkheid om met behulp van een ToF-camera 3D-modellen te maken, kan eindeloos worden gepraat. Nu al kun je selfie-foto's vanuit verschillende hoeken gebruiken om een model van je gezicht te maken en zelfs af te drukken als je een 3D-printer bij de hand hebt. Natuurlijk zal iemand zeggen dat dit alleen maar games en entertainment zijn. Maar het is heel goed mogelijk dat ToF-camera's in de toekomst worden gebruikt om onderdelen voor auto's of andere mechanismen te maken.
Virtual en augmented reality kloppen steeds hardnekkiger aan onze deur. Games met ondersteuning voor augmented reality verschijnen steeds vaker op smartphones Android en iOS. Het is spannend, leerzaam en zorgt ervoor dat u uw tijd nuttig kunt besteden. Met name in de Play Market vind je al een groot aantal applicaties en games met ondersteuning voor het Google ARCore-platform. Het volstaat om de Google Play Services voor AR-applicatie te downloaden en te installeren, en dergelijke games en applicaties zullen voor u beschikbaar zijn in augmented reality. Juist door het gebruik van de ToF-camera kun je optimaal genieten van het effect van augmented reality.
Op zijn beurt, in de nieuwe Apple De iPad Pro-dieptesensor is verantwoordelijk voor een nauwkeurigere overlay van virtuele objecten op het beeld van de camera in augmented reality-modus.
Smartphone als nachtkijker?
Momenteel werkt de ToF-sensor voor de meeste apparaten bijna onmerkbaar voor de gebruiker en ondersteunt hij alleen functies waarvoor de diepte van de scène moet worden bepaald.
In Google Play vond ik echter een uitstekende applicatie genaamd Night Vision, waarmee je de 3D-scanner in een ongebruikelijke rol kunt gebruiken. Ik heb het op de mijne geïnstalleerd Huawei P30 Pro.
De app geeft in realtime weer wat de ToF-sensor vastlegt. Omdat het infrarood licht gebruikt, dat onzichtbaar is voor het menselijk oog, is de dieptekaart zelfs in totale duisternis duidelijk zichtbaar.
Ik was verbaasd over hoe groot een gebied kan zijn dat zo'n kleine sensor kan scannen. Ik had verwacht dat hij na enkele tientallen centimeters zou leeglopen, maar in de praktijk bleek dat je in een handomdraai een driedimensionale kaart van de hele kamer kunt maken. De ToF-camera detecteert gemakkelijk de vorm van kleine objecten op een afstand van 4-5 meter.
Vooral je kind zal zo'n nachtkijker leuk vinden. Ik weet zeker dat ze meteen zal rennen om de donkerste hoeken van je appartement of huis te verkennen.
ToF-camera als biometrische sensor
De ToF-camera wordt meestal geïmplementeerd in de vorm van twee miniatuurgaatjes, waarin de infrarooddiode en de matrix zijn verborgen. Hier rijst de vraag: "Waarom? Apple wil deze technologie niet gebruiken in plaats van zijn TrueDepth-systeem, waarvan de meerdere sensoren meer dan de helft van de breedte van het scherm van de telefoon innemen?”
De reden is waarschijnlijk de slechte kwaliteit van de scan. ToF-camera's die in smartphones worden gebruikt, hebben momenteel een zeer lage resolutie (tot 240p), wat resulteert in zeer gepixelde beelden.
Zoals je kunt zien, zijn de details van zo'n scan te klein voor de software om gelaatstrekken nauwkeurig te identificeren.
Maar persoonlijk zie ik geen contra-indicaties volgens welke de gezichtsscanner niet in hybride modus zou kunnen werken. Theoretisch, terwijl de selfiecamera gelaatstrekken analyseert en open ogen detecteert, controleert de ToF-sensor of het echt om een driedimensionaal object van een bepaalde vorm en grootte gaat, en niet om een foto.
Zo'n scanner is potentieel heel moeilijk voor de gek te houden, en tegelijkertijd is hij snel, goedkoop en niet-invasief. Het zou me dus niet verbazen als in de nabije toekomst Apple zal ToF-technologie gebruiken om een Face ID-scanner van de volgende generatie te maken, dus dit soort 3D-gezichtsherkenning zal vaker voorkomen.
Ik ben er in geslaagd om erachter te komen dat Huawei De P40 Pro heeft precies zo'n ToF-sensor geïnstalleerd, deze bevindt zich tussen de dubbele camera aan de voorkant en neemt deel aan het ontgrendelingsproces van het gezicht. En ik vroeg me nog steeds af waarom ontgrendelen via gezicht is ingeschakeld Huawei De P40 Pro is veel sneller dan zijn voorganger, de P30 Pro. Daarnaast is het absoluut onmogelijk om het nieuwe vlaggenschip te misleiden met behulp van een foto. Zojuist door mij gecontroleerd.
Toekomstige apps voor mobiele filmmakers
Iedereen die zijn smartphone gebruikt om video op te nemen, zal zeer geïnteresseerd zijn als 3D ToF-technologie kan worden gebruikt om een kleine scherptediepte aan de achtergrond toe te voegen. Vooral als het proces kan worden overgedragen naar postproductie, omdat het meer flexibiliteit biedt.
Ook zijn ToF-mogelijkheden van potentieel belang voor degenen die computereffecten aan hun video's toevoegen. Bij het volgen van beweging in een video is het bijvoorbeeld beter om zo nauwkeurig mogelijk op het object scherp te stellen. Het gebruik van een 3D-kaart zou ons in staat moeten stellen om alles scherp vast te leggen en later indien nodig de nodige achtergrondvervaging en speciale effecten toe te voegen.
Dit is slechts speculatie van mijn kant, maar 3D-scannen heeft zeker een enorm potentieel om het video-opnameproces te verbeteren. Dit is al bewezen door de moderne cinema en zal hopelijk binnenkort verschijnen in het consumentensegment.
De reden waarom deze functies nog niet beschikbaar zijn in smartphonecamera's bij het opnemen van video, heeft waarschijnlijk te maken met de noodzaak om meer verwerkingskracht te hebben. Testen hebben uitgewezen dat smartphones warm worden bij gebruik van de ToF-sensor. En aangezien ze geen actieve koeling hebben, kan dit een beetje een probleem zijn.
Maar naarmate de kracht van mobiele processors toeneemt, denk ik dat ToF-camera's op grotere schaal zullen worden gebruikt in foto- en videotoepassingen.
Eén ding kan zeker worden gezegd - ToF heeft een groot potentieel
Alleen al het feit dat een smartphone kan functioneren als een ultranauwkeurig afstandsmeetapparaat of een nachtzichtapparaat, betekent dat ik nooit meer een telefoon zonder ToF-sensor zal kopen. Dit is een van de meest interessante technologieën van de afgelopen jaren, en het staat nog maar aan het begin van zijn reis.
Het is verbazingwekkend dat zo'n kleine sensor zoveel kan doen. Ik duim voor je dat fabrikanten en app-ontwikkelaars zullen blijven werken aan het benutten van de mogelijkheden ervan. Ik ben er zeker van dat we meer dan eens zullen horen over nieuwe toepassingen van de ToF-camera. En wie zal nu zeggen dat dit een onnodige toevoeging is aan de belangrijkste set smartphonecamera's?
interessante informatie