In letzter Zeit sind ToF-Kameras zu einem festen Bestandteil des Kamerasets eines modernen Flaggschiff-Smartphones geworden. Doch wie funktionieren sie, warum werden sie überhaupt benötigt und wo können sie eingesetzt werden?
"Das sind sie, so sei es", werden die meisten Benutzer sagen. Tatsache ist, dass nur sehr wenige Informationen über ToF-Sensoren veröffentlicht werden. Es sei denn, meine Journalistenkollegen, und nicht alle von ihnen, und sogar spezialisierte Experten, können die Notwendigkeit dafür klar erklären. Lassen Sie uns etwas Klarheit in dieses Problem bringen. Vielleicht wird ein Teil des Textes viele Begriffe enthalten, aber ich werde versuchen, so einfach wie möglich zu erklären, was eine ToF-Kamera ist, wo Sie ihre Fähigkeiten anwenden können und wie Sie sie in Aktion sehen können. Also, lasst uns gehen!
Was ist eine ToF-Kamera?
Erinnerst du dich an die U-Boot-Filme aus dem Zweiten Weltkrieg? Dort tauchten Sonargeräte auf, mit denen feindliche Schiffe aufgespürt wurden. Das Gerät sendet einen Ton „Ping“ in den Wasserraum und wartet auf die Reflexion des Signals. Abhängig von der Zeit bis zur Rückkehr der Schallwelle versuchte der Spezialist, den Standort des feindlichen U-Bootes zu bestimmen.
Genau wie ein Sonar misst eine ToF-Kamera die Zeit, die das Licht benötigt, um von einem Objekt abzuprallen. Die Kamera verwendet dann die Verzögerungsdaten, um die Entfernung zu bestimmen. So erstellt der ToF-Sensor eine dreidimensionale Weltkarte.
Deshalb werden ToF-Kameras manchmal auch als „Tiefenkameras“ bezeichnet. Die ToF-Kamera (Time of Flight) ist ein Sensor, der eine Art Licht im Infrarotspektrum aussenden und dann die Geschwindigkeit seiner Reflexion vom Objekt aufzeichnen kann. Der Sensor selbst besteht aus zwei Teilen: Der erste ist eine Diode, die Infrarotlicht aussendet, und der zweite ist eine spezielle lichtempfindliche Matrix.
Die Kamera misst die Zeit, nach der das vom Objekt reflektierte Licht zu ihr zurückkehrt. Basierend auf Berechnungen mit einer Genauigkeit von bis zu einer Nanosekunde ist das Gerät in der Lage, nicht nur die Entfernung einzelner Objekte vom Sensor genau abzuschätzen, sondern auch ihre Form zu bestimmen. Es stimmt, es ist dem Sonar-Sonar sehr ähnlich. Nur in diesem Fall senden wir Licht statt Ton an das Objekt.
Sensoren, die nach einem ähnlichen Prinzip arbeiten, werden auch in autonomen Autos oder sogar von der NASA gebauten Raumsonden verwendet. Durch die fortschreitende Miniaturisierung und relativ niedrige Herstellungskosten könnte diese Technologie heute in Ihrer Tasche sein. Fakt ist, dass ToF-Sensoren bereits in vielen Top-Smartphones stecken. Hier sind einige mobile Geräte, die mit ToF-Kameras ausgestattet sind:
- Samsung Galaxy S10 5G
- Samsung Galaxy Note10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 ThinQ
- OPPO RX17 Pro
- Honor View 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Ich bin mir sicher, dass sich diese Liste jedes Jahr nur noch erweitern wird, denn das Potenzial dieses Sensors ist einfach riesig. Vielleicht baut auch Google bald eine solche Kamera in seine Pixel ein. Es gibt auch Hoffnung, dass und Apple wird dem ToF-Sensor Aufmerksamkeit schenken und zur großen Verbreitung dieser Technologie beitragen sowie ihre Fähigkeiten voll ausschöpfen. Nicht umsonst tauchte ein ähnlicher Sensor im neuen iPad Pro auf.
Nun, die Theorie ist klar, schauen wir uns nun genauer an, was die ToF-Kamera in der Praxis zu leisten imstande ist. Es versteht sich, dass Sie diesen Sensor nicht einfach nehmen und einschalten können, aber Sie können ihn dennoch in einigen Anwendungen verwenden, selbst wenn Sie mit einer Kamera aufnehmen.
Wie kann eine ToF-Kamera verwendet werden?
Wir messen die Distanz
Auf manchen Smartphones Samsung (einschließlich Note10+, S20+ und S20 Ultra) und Huawei (einschließlich P30 Pro, Mate 30 Pro, Huawei P40 Pro) können Sie eine Entfernungsmessungs-App namens Measure installieren.
Alles funktioniert ganz einfach und mit beeindruckender Genauigkeit. Im Rahmen der Tests habe ich mit dieser Anwendung und einem Smartphone gemessen Samsung Galaxy S20 Ultra Länge, Breite und Diagonale Ihres Fernsehbildschirms und das Telefon gaben die Abmessungen auf den nächsten Zentimeter genau an.
Hintergrundunschärfe beim Aufnehmen eines Fotos
Eine Anwendung eines 3D-Rendering-Systems könnte darin bestehen, digitale Tiefenschärfe zu erzeugen, sodass Sie Ihren Fotos oder Videos einen unscharfen Hintergrund hinzufügen können. Dies funktioniert im Moment nur für Fotos, nicht für Videos. Die Funktion ermöglicht es uns auch, unnötige Objekte zu entfernen, die in den Rahmen geraten sind, oder Hintergründe, die den Eindruck des Bildes beeinträchtigen.
Darüber hinaus unterstützt der ToF-Sensor bei einigen Telefonen den Autofokus oder ermöglicht es Ihnen, den Hintergrund im Hochformat genauer zu verwischen. Kurz gesagt, es hilft Ihnen, bessere Selfies zu machen, um Ihre Follower zu erfreuen, wie in Instagram.
Bewegungsverfolgung
Das LG G8 ThinQ Smartphone verfügt über einen ToF-Sensor auf der Vorderseite, der unter anderem zur Erkennung von im Weltraum ausgeführten Gesten dient. Ich möchte nicht wirklich über die Möglichkeiten solcher Gesten sprechen, es ist besser, es selbst zu sehen.
Google Play verfügt auch über mehrere Action-Spiele, die denen ähneln, die vom Controller unterstützt werden Microsoft Kinect.
Erstellung von 3D-Modellen und Augmented Reality
Über die Möglichkeit, 3D-Modelle mit Hilfe einer ToF-Kamera zu erstellen, kann man endlos reden. Bereits jetzt können Sie aus Selfie-Fotos aus verschiedenen Blickwinkeln ein Modell Ihres Gesichts erstellen und es sogar ausdrucken, wenn Sie einen 3D-Drucker zur Hand haben. Natürlich wird jemand sagen, dass dies nur Spiele und Unterhaltung sind. Aber es ist durchaus möglich, dass ToF-Kameras in Zukunft verwendet werden, um Teile für Autos oder andere Mechanismen zu erstellen.
Virtual und Augmented Reality klopfen immer beharrlicher an unsere Tür. Spiele mit Unterstützung für Augmented Reality tauchen zunehmend auf Smartphones auf Android und iOS. Es ist spannend, lehrreich und ermöglicht Ihnen, Ihre Zeit sinnvoll zu verbringen. Insbesondere im Play Market finden Sie bereits eine Vielzahl von Anwendungen und Spielen mit Unterstützung für die Google ARCore-Plattform. Es reicht aus, die Google Play Services for AR-Anwendung herunterzuladen und zu installieren, und schon stehen Ihnen solche Spiele und Anwendungen in Augmented Reality zur Verfügung. Allein die Verwendung der ToF-Kamera gibt Ihnen die Möglichkeit, den Effekt von Augmented Reality in vollem Umfang zu genießen.
Im Gegenzug im Neuen Apple Der Tiefensensor des iPad Pro ist für eine genauere Überlagerung virtueller Objekte auf dem Bild der Kamera im Augmented-Reality-Modus verantwortlich.
Smartphone als Nachtsichtgerät?
Derzeit arbeitet der ToF-Sensor für die meisten Geräte fast unmerklich für den Benutzer und unterstützt nur Funktionen, die eine Bestimmung der Tiefe der Szene erfordern.
In Google Play habe ich jedoch eine hervorragende Anwendung namens Night Vision gefunden, mit der Sie den 3D-Scanner in einer ungewöhnlichen Rolle verwenden können. Ich habe es bei mir installiert Huawei P30 Pro.
Die App zeigt in Echtzeit an, was der ToF-Sensor erfasst. Da es für das menschliche Auge unsichtbares Infrarotlicht verwendet, ist die Tiefenkarte auch bei völliger Dunkelheit gut sichtbar.
Ich war überrascht, wie groß ein Bereich mit einem so winzigen Sensor sein kann. Ich hatte erwartet, dass es nach einigen zehn Zentimetern entleeren würde, aber in der Praxis stellte sich heraus, dass Sie im Handumdrehen eine dreidimensionale Karte des gesamten Raums erstellen können. Die ToF-Kamera erkennt problemlos die Form kleiner Objekte in einer Entfernung von 4-5 Metern.
Ein solches Nachtsichtgerät wird Ihrem Kind besonders gut gefallen. Ich bin mir sicher, dass sie sofort losrennen wird, um die dunkelsten Ecken Ihrer Wohnung oder Ihres Hauses zu erkunden.
ToF-Kamera als biometrischer Sensor
Die ToF-Kamera wird meistens in Form von zwei Miniaturlöchern implementiert, in denen die Infrarotdiode und die Matrix versteckt sind. Hier stellt sich die Frage: „Warum Apple möchte diese Technologie nicht anstelle des TrueDepth-Systems verwenden, dessen mehrere Sensoren mehr als die Hälfte der Bildschirmbreite des Telefons einnehmen?“
Der Grund ist wahrscheinlich die schlechte Qualität des Scans. ToF-Kameras, die in Smartphones verwendet werden, haben derzeit eine sehr niedrige Auflösung (bis zu 240p), was zu stark verpixelten Bildern führt.
Wie Sie sehen können, sind die Details eines solchen Scans zu klein, als dass die Software Gesichtsmerkmale genau identifizieren könnte.
Ich persönlich sehe jedoch keine Kontraindikationen, wonach der Gesichtsscanner nicht im Hybridmodus arbeiten könnte. Während die Selfie-Kamera theoretisch Gesichtszüge analysiert und offene Augen erkennt, prüft der ToF-Sensor theoretisch, ob es sich wirklich um ein dreidimensionales Objekt bestimmter Form und Größe handelt und nicht um ein Foto.
Ein solcher Scanner ist möglicherweise sehr schwer zu täuschen und gleichzeitig schnell, billig und nicht-invasiv. Es würde mich also nicht wundern, wenn in naher Zukunft Apple wird die ToF-Technologie verwenden, um einen Gesichts-ID-Scanner der nächsten Generation zu entwickeln, sodass diese Art der 3D-Gesichtserkennung immer häufiger wird.
Ich konnte das in herausfinden Huawei Das P40 Pro hat genau so einen ToF-Sensor verbaut, er sitzt zwischen der Dual-Frontkamera und nimmt am Face-Unlocking-Prozess teil. Und ich habe mich immer noch gefragt, warum das Entsperren per Gesicht aktiviert ist Huawei Das P40 Pro ist deutlich schneller als sein Vorgänger P30 Pro. Zudem ist es definitiv unmöglich, das neue Flaggschiff anhand eines Fotos zu täuschen. Gerade von mir gecheckt.
Zukünftige Apps für mobile Filmemacher
Wer mit seinem Smartphone Videos dreht, wird höchst interessiert sein, ob man mit der 3D-ToF-Technologie dem Hintergrund eine geringe Schärfentiefe hinzufügen kann. Vor allem, wenn der Prozess in die Postproduktion überführt werden kann, da er eine größere Flexibilität bietet.
ToF-Fähigkeiten sind auch für diejenigen von Interesse, die ihren Videos Computereffekte hinzufügen. Wenn Sie beispielsweise in einem Video Bewegungen verfolgen, ist es besser, das Objekt so genau wie möglich zu fokussieren. Die Verwendung einer 3D-Karte sollte es uns ermöglichen, alles scharf aufzunehmen und später bei Bedarf die erforderliche Hintergrundunschärfe und Spezialeffekte hinzuzufügen.
Dies ist nur eine Spekulation meinerseits, aber das 3D-Scannen hat sicherlich ein enormes Potenzial, um den Videoaufnahmeprozess zu verbessern. Das hat das moderne Kino bereits bewiesen und wird hoffentlich bald im Consumer-Segment Einzug halten.
Der Grund, warum diese Funktionen in Smartphone-Kameras beim Aufnehmen von Videos noch nicht verfügbar sind, hängt wahrscheinlich mit der Notwendigkeit einer erhöhten Rechenleistung zusammen. Tests haben gezeigt, dass sich Smartphones bei Verwendung des ToF-Sensors erwärmen. Und da sie keine aktive Kühlung haben, kann dies ein kleines Problem sein.
Aber da die Leistung mobiler Prozessoren zunimmt, denke ich, dass ToF-Kameras in Foto- und Videoanwendungen weiter verbreitet sein werden.
Eines kann man mit Sicherheit sagen – ToF hat großes Potenzial
Allein die Tatsache, dass ein Smartphone als ultrapräzises Entfernungsmessgerät oder Nachtsichtgerät fungieren kann, bedeutet, dass ich nie wieder ein Handy ohne ToF-Sensor kaufen werde. Dies ist eine der interessantesten Technologien der letzten Jahre und steht erst am Anfang ihrer Reise.
Es ist erstaunlich, dass ein so kleiner Sensor so viel leisten kann. Ich drücke die Daumen, dass Hersteller und App-Entwickler weiter daran arbeiten, ihre Möglichkeiten auszuschöpfen. Ich bin sicher, dass wir mehr als einmal von neuen Anwendungen der ToF-Kamera hören werden. Und wer wird jetzt sagen, dass dies eine unnötige Ergänzung des Hauptsatzes von Smartphone-Kameras ist?
interessante Information