Πρόσφατα, οι κάμερες ToF έχουν γίνει αναπόσπαστο μέρος του σετ φωτογραφικών μηχανών ενός σύγχρονου εμβληματικού smartphone. Πώς όμως λειτουργούν, γιατί χρειάζονται καθόλου και πού μπορούν να χρησιμοποιηθούν;
«Είναι, ας είναι», θα πουν οι περισσότεροι χρήστες. Γεγονός είναι ότι πολύ λίγες πληροφορίες δημοσιεύονται για τους αισθητήρες ToF. Εκτός κι αν οι συνάδελφοί μου δημοσιογράφοι, και όχι όλοι, ακόμα και ειδικοί ειδικοί, μπορούν να εξηγήσουν ξεκάθαρα την ανάγκη τους. Ας φέρουμε λίγη σαφήνεια σε αυτό το ζήτημα. Ίσως μέρος του κειμένου να περιέχει πολλούς όρους, αλλά θα προσπαθήσω να εξηγήσω όσο πιο απλά γίνεται τι είναι μια κάμερα ToF, πού μπορείτε να εφαρμόσετε τις δυνατότητές της και πώς να τη δείτε σε δράση. Λοιπόν, πάμε!
Τι είναι μια κάμερα ToF;
Θυμάστε αυτές τις υποβρύχιες ταινίες από τον Β' Παγκόσμιο Πόλεμο; Εκεί εμφανίστηκε εξοπλισμός σόναρ που χρησιμοποιήθηκε για την ανίχνευση εχθρικών πλοίων. Η συσκευή στέλνει έναν ήχο "ping" στον υδάτινο χώρο και περιμένει να ανακλαστεί το σήμα. Ανάλογα με το χρόνο που χρειάστηκε για να επιστρέψει το ηχητικό κύμα, ο ειδικός προσπάθησε να προσδιορίσει τη θέση του εχθρικού υποβρυχίου.
Ακριβώς όπως το σόναρ, μια κάμερα ToF μετρά τον χρόνο που χρειάζεται για να αναπηδήσει το φως από ένα αντικείμενο. Στη συνέχεια, η κάμερα χρησιμοποιεί τα δεδομένα καθυστέρησης για να προσδιορίσει την απόσταση. Έτσι, ο αισθητήρας ToF δημιουργεί έναν τρισδιάστατο χάρτη του κόσμου.
Αυτός είναι ο λόγος για τον οποίο οι κάμερες ToF αποκαλούνται μερικές φορές και "κάμερες βάθους". Η κάμερα ToF (Time of Flight) είναι ένας αισθητήρας ικανός να εκπέμπει κάποιο είδος φωτός στο υπέρυθρο φάσμα και στη συνέχεια να καταγράφει την ταχύτητα της ανάκλασής του από το αντικείμενο. Ο ίδιος ο αισθητήρας αποτελείται από δύο μέρη: το πρώτο είναι μια δίοδος που εκπέμπει υπέρυθρο φως και το δεύτερο είναι μια ειδική φωτοευαίσθητη μήτρα.
Η κάμερα μετρά το χρόνο μετά τον οποίο το φως που ανακλάται από το αντικείμενο επιστρέφει σε αυτήν. Με βάση υπολογισμούς που έγιναν με ακρίβεια έως και ένα νανοδευτερόλεπτο, η συσκευή είναι σε θέση όχι μόνο να εκτιμήσει με ακρίβεια την απόσταση μεμονωμένων αντικειμένων από τον αισθητήρα, αλλά και να καθορίσει το σχήμα τους. Είναι αλήθεια ότι μοιάζει πολύ με το σόναρ σόναρ. Μόνο σε αυτή την περίπτωση, στέλνουμε φως στο αντικείμενο αντί για ήχο.
Αισθητήρες που λειτουργούν με παρόμοια αρχή χρησιμοποιούνται επίσης σε αυτόνομα αυτοκίνητα ή ακόμα και διαστημικούς ανιχνευτές που κατασκεύασε η NASA. Η προοδευτική σμίκρυνση και το σχετικά χαμηλό κόστος κατασκευής σημαίνουν ότι αυτή η τεχνολογία θα μπορούσε να είναι στην τσέπη σας σήμερα. Το γεγονός είναι ότι οι αισθητήρες ToF υπάρχουν ήδη σε πολλά κορυφαία smartphone. Ακολουθούν ορισμένες φορητές συσκευές εξοπλισμένες με κάμερες ToF:
- Samsung Galaxy S10 5G
- Samsung Galaxy Σημείωση10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- Τιμητική προβολή 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Είμαι βέβαιος ότι κάθε χρόνο αυτή η λίστα θα επεκτείνεται μόνο, γιατί οι δυνατότητες αυτού του αισθητήρα είναι απλά τεράστιες. Ίσως σύντομα η Google να εγκαταστήσει μια τέτοια κάμερα στα Pixel της. Υπάρχει επίσης ελπίδα ότι και Apple θα δώσει προσοχή στον αισθητήρα ToF και θα συμβάλει στη μεγάλη εκλαΐκευση αυτής της τεχνολογίας, καθώς και θα αξιοποιήσει πλήρως τις δυνατότητές της. Δεν είναι για τίποτα που ένας παρόμοιος αισθητήρας εμφανίστηκε στο νέο iPad Pro.
Λοιπόν, η θεωρία είναι ξεκάθαρη, τώρα ας ρίξουμε μια πιο προσεκτική ματιά στο τι μπορεί να κάνει η κάμερα ToF στην πράξη. Πρέπει να γίνει κατανοητό ότι δεν μπορείτε απλά να πάρετε και να ενεργοποιήσετε αυτόν τον αισθητήρα, αλλά μπορείτε να τον χρησιμοποιήσετε σε ορισμένες εφαρμογές, ακόμη και όταν φωτογραφίζετε με κάμερα.
Πώς μπορεί να χρησιμοποιηθεί μια κάμερα ToF;
Μετράμε την απόσταση
Σε ορισμένα smartphone Samsung (συμπεριλαμβανομένων των Note10+, S20+ και S20 Ultra) και Huawei (συμπεριλαμβανομένων των P30 Pro, Mate 30 Pro, Huawei P40 Pro) μπορείτε να εγκαταστήσετε μια εφαρμογή μέτρησης απόστασης που ονομάζεται Measure.
Όλα λειτουργούν πολύ απλά και με εντυπωσιακή ακρίβεια. Ως μέρος των δοκιμών, μέτρησα χρησιμοποιώντας αυτήν την εφαρμογή και ένα smartphone Samsung Galaxy S20 Ultra μήκος, πλάτος και διαγώνιος της οθόνης της τηλεόρασής σας, και το τηλέφωνο έδωσε τις διαστάσεις στο πλησιέστερο εκατοστό.
Θάμπωμα φόντου κατά τη λήψη φωτογραφίας
Μια εφαρμογή ενός συστήματος τρισδιάστατης απόδοσης μπορεί να είναι η δημιουργία ψηφιακού βάθους πεδίου, ώστε να μπορείτε να προσθέσετε ένα θολό φόντο στις φωτογραφίες ή τα βίντεό σας. Αυτό λειτουργεί μόνο για φωτογραφίες προς το παρόν, όχι για βίντεο. Η λειτουργία μας επιτρέπει επίσης να απαλλαγούμε από περιττά αντικείμενα που μπήκαν στο κάδρο ή φόντο που χαλούν την εντύπωση της εικόνας.
Επιπλέον, σε ορισμένα τηλέφωνα, ο αισθητήρας ToF υποστηρίζει αυτόματη εστίαση ή σας επιτρέπει να θολώνετε το φόντο με μεγαλύτερη ακρίβεια στη λειτουργία κατακόρυφης προβολής. Εν ολίγοις, σας βοηθά να τραβήξετε καλύτερες selfies για να ευχαριστήσετε τους ακόλουθούς σας, όπως in Instagram.
Παρακολούθηση κίνησης
Το smartphone LG G8 ThinQ διαθέτει έναν αισθητήρα ToF που βρίσκεται στον μπροστινό πίνακα, ο οποίος χρησιμοποιείται, μεταξύ άλλων, για την ανίχνευση χειρονομιών που εκτελούνται στο διάστημα. Δεν θέλω πραγματικά να μιλήσω για τις δυνατότητες χρήσης τέτοιων χειρονομιών, καλύτερα να το δείτε μόνοι σας.
Το Google Play διαθέτει επίσης πολλά παιχνίδια κίνησης παρόμοια με αυτά που υποστηρίζονται από το χειριστήριο Microsoft Kinect.
Δημιουργία τρισδιάστατων μοντέλων και επαυξημένης πραγματικότητας
Η δυνατότητα δημιουργίας τρισδιάστατων μοντέλων με τη βοήθεια μιας κάμερας ToF μπορεί να συζητηθεί ατελείωτα. Ήδη τώρα, μπορείτε να χρησιμοποιήσετε φωτογραφίες selfie από διαφορετικές οπτικές γωνίες για να δημιουργήσετε ένα μοντέλο του προσώπου σας και ακόμη και να το εκτυπώσετε, εάν έχετε διαθέσιμο εκτυπωτή 3D. Φυσικά, κάποιος θα πει ότι αυτά είναι απλά παιχνίδια και ψυχαγωγία. Αλλά είναι πολύ πιθανό ότι στο μέλλον, οι κάμερες ToF θα χρησιμοποιηθούν για τη δημιουργία ανταλλακτικών για αυτοκίνητα ή άλλους μηχανισμούς.
Η εικονική και επαυξημένη πραγματικότητα χτυπάει όλο και πιο επίμονα την πόρτα μας. Παιχνίδια με υποστήριξη επαυξημένης πραγματικότητας εμφανίζονται όλο και περισσότερο σε smartphone Android και iOS. Είναι συναρπαστικό, εκπαιδευτικό και σας επιτρέπει να περάσετε το χρόνο σας με όφελος. Συγκεκριμένα, στο Play Market μπορείτε ήδη να βρείτε μεγάλο αριθμό εφαρμογών και παιχνιδιών με υποστήριξη για την πλατφόρμα Google ARCore. Αρκεί να κατεβάσετε και να εγκαταστήσετε την εφαρμογή Υπηρεσίες Google Play για AR και τέτοια παιχνίδια και εφαρμογές θα είναι διαθέσιμα σε επαυξημένη πραγματικότητα. Η χρήση μόνο της κάμερας ToF σάς δίνει την ευκαιρία να απολαύσετε πλήρως το εφέ της επαυξημένης πραγματικότητας.
Με τη σειρά του, στο νέο Apple Ο αισθητήρας βάθους iPad Pro είναι υπεύθυνος για την ακριβέστερη επικάλυψη εικονικών αντικειμένων στην εικόνα από την κάμερα σε λειτουργία επαυξημένης πραγματικότητας.
Smartphone ως συσκευή νυχτερινής όρασης;
Επί του παρόντος, για τις περισσότερες συσκευές, ο αισθητήρας ToF λειτουργεί σχεδόν ανεπαίσθητα για τον χρήστη, υποστηρίζοντας μόνο λειτουργίες που απαιτούν τον προσδιορισμό του βάθους της σκηνής.
Ωστόσο, στο Google Play βρήκα μια εξαιρετική εφαρμογή που ονομάζεται Night Vision, η οποία σας επιτρέπει να χρησιμοποιήσετε τον σαρωτή 3D σε έναν ασυνήθιστο ρόλο. Το εγκατέστησα στο δικό μου Huawei P30 Pro.
Η εφαρμογή εμφανίζει σε πραγματικό χρόνο τι καταγράφει ο αισθητήρας ToF. Επειδή χρησιμοποιεί υπέρυθρο φως, το οποίο είναι αόρατο στο ανθρώπινο μάτι, ο χάρτης βάθους είναι καθαρά ορατός ακόμη και στο απόλυτο σκοτάδι.
Έμεινα έκπληκτος με το πόσο μεγάλη περιοχή μπορεί να σαρώσει ένας τόσο μικροσκοπικός αισθητήρας. Περίμενα ότι θα ξεφουσκώσει μετά από μερικές δεκάδες εκατοστά, αλλά στην πράξη αποδείχθηκε ότι μπορείτε να δημιουργήσετε έναν τρισδιάστατο χάρτη ολόκληρου του δωματίου σε μια στιγμή. Η κάμερα ToF ανιχνεύει εύκολα το σχήμα μικρών αντικειμένων σε απόσταση 4-5 μέτρων.
Στο παιδί σας θα αρέσει ιδιαίτερα μια τέτοια συσκευή νυχτερινής όρασης. Είμαι σίγουρος ότι θα τρέξει αμέσως να εξερευνήσει τις πιο σκοτεινές γωνιές του διαμερίσματος ή του σπιτιού σας.
Κάμερα ToF ως βιομετρικός αισθητήρας
Η κάμερα ToF υλοποιείται συχνότερα με τη μορφή δύο μικροσκοπικών οπών, στις οποίες είναι κρυμμένη η υπέρυθρη δίοδος και η μήτρα. Εδώ τίθεται το ερώτημα: «Γιατί Apple δεν θέλει να χρησιμοποιήσει αυτή την τεχνολογία αντί για το σύστημα TrueDepth, του οποίου οι πολλαπλοί αισθητήρες καταλαμβάνουν περισσότερο από το μισό πλάτος της οθόνης του τηλεφώνου;».
Ο λόγος είναι μάλλον η κακή ποιότητα της σάρωσης. Οι κάμερες ToF που χρησιμοποιούνται σε smartphones έχουν επί του παρόντος πολύ χαμηλή ανάλυση (έως 240p), με αποτέλεσμα εικόνες με υψηλή ανάλυση pixel.
Όπως μπορείτε να δείτε, οι λεπτομέρειες μιας τέτοιας σάρωσης είναι πολύ μικρές για το λογισμικό να αναγνωρίσει με ακρίβεια τα χαρακτηριστικά του προσώπου.
Αλλά, προσωπικά, δεν βλέπω αντενδείξεις, σύμφωνα με τις οποίες ο σαρωτής προσώπου δεν μπορούσε να λειτουργήσει σε υβριδική λειτουργία. Θεωρητικά, την ίδια στιγμή που η selfie κάμερα αναλύει τα χαρακτηριστικά του προσώπου και ανιχνεύει ανοιχτά μάτια, ο αισθητήρας ToF ελέγχει αν όντως έχει να κάνει με ένα τρισδιάστατο αντικείμενο συγκεκριμένου σχήματος και μεγέθους και όχι με φωτογραφία.
Ένας τέτοιος σαρωτής είναι δυνητικά πολύ δύσκολο να ξεγελαστεί, και ταυτόχρονα είναι γρήγορος, φθηνός και μη επεμβατικός. Οπότε δεν θα εκπλαγώ αν στο εγγύς μέλλον Apple θα χρησιμοποιήσει την τεχνολογία ToF για να δημιουργήσει έναν σαρωτή Face ID επόμενης γενιάς, επομένως αυτού του είδους η 3D αναγνώριση προσώπου θα γίνει πιο συνηθισμένη.
Κατάφερα να το ανακαλύψω μέσα Huawei Το P40 Pro έχει εγκατεστημένο έναν τέτοιο αισθητήρα ToF, βρίσκεται ανάμεσα στη διπλή μπροστινή κάμερα και συμμετέχει στη διαδικασία ξεκλειδώματος προσώπου. Και ακόμα αναρωτιόμουν γιατί είναι ενεργοποιημένο το ξεκλείδωμα με πρόσωπο Huawei Το P40 Pro είναι πολύ πιο γρήγορο από τον προκάτοχό του, το P30 Pro. Επιπλέον, είναι σίγουρα αδύνατο να εξαπατήσετε τη νέα ναυαρχίδα με τη βοήθεια μιας φωτογραφίας. Μόλις ελέγχθηκε από εμένα.
Μελλοντικές εφαρμογές για κινηματογραφιστές
Όποιος χρησιμοποιεί το smartphone του για να τραβήξει βίντεο θα ενδιαφέρεται εξαιρετικά εάν η τεχνολογία 3D ToF μπορεί να χρησιμοποιηθεί για να προσθέσει ένα μικρό βάθος πεδίου στο φόντο. Ειδικά αν η διαδικασία μπορεί να μεταφερθεί στο post-production, καθώς παρέχει μεγαλύτερη ευελιξία.
Επίσης, οι δυνατότητες ToF παρουσιάζουν δυνητικό ενδιαφέρον για όσους προσθέτουν εφέ υπολογιστή στα βίντεό τους. Για παράδειγμα, όταν παρακολουθείτε την κίνηση σε ένα βίντεο, είναι καλύτερο να εστιάσετε στο αντικείμενο όσο το δυνατόν ακριβέστερα. Η χρήση ενός τρισδιάστατου χάρτη θα μας επιτρέψει να τραβήξουμε τα πάντα εστιασμένα και αργότερα να προσθέσουμε το απαραίτητο θάμπωμα φόντου και ειδικά εφέ, εάν χρειάζεται.
Αυτό είναι απλώς εικασίες από την πλευρά μου, αλλά η τρισδιάστατη σάρωση έχει σίγουρα τεράστιες δυνατότητες να βελτιώσει τη διαδικασία λήψης βίντεο. Αυτό έχει ήδη αποδειχθεί από τον σύγχρονο κινηματογράφο και, ελπίζω, σύντομα θα εμφανιστεί και στο καταναλωτικό κομμάτι.
Ο λόγος για τον οποίο αυτές οι λειτουργίες δεν είναι ακόμη διαθέσιμες στις κάμερες των smartphone κατά τη λήψη βίντεο πιθανότατα σχετίζεται με την ανάγκη για αυξημένη επεξεργαστική ισχύ. Οι δοκιμές έχουν αποδείξει ότι τα smartphone θερμαίνονται όταν χρησιμοποιούν τον αισθητήρα ToF. Και επειδή δεν έχουν ενεργή ψύξη, αυτό μπορεί να είναι λίγο πρόβλημα.
Αλλά καθώς αυξάνεται η ισχύς των φορητών επεξεργαστών, νομίζω ότι οι κάμερες ToF θα χρησιμοποιούνται ευρύτερα σε εφαρμογές φωτογραφίας και βίντεο.
Ένα πράγμα μπορεί να ειπωθεί με βεβαιότητα - το ToF έχει μεγάλες δυνατότητες
Το ίδιο το γεγονός ότι ένα smartphone μπορεί να λειτουργήσει ως συσκευή μέτρησης εξαιρετικά ακριβούς απόστασης ή συσκευή νυχτερινής όρασης σημαίνει ότι δεν θα αγοράσω ποτέ ξανά τηλέφωνο χωρίς αισθητήρα ToF. Αυτή είναι μια από τις πιο ενδιαφέρουσες τεχνολογίες των τελευταίων ετών και βρίσκεται μόλις στην αρχή του ταξιδιού της.
Είναι εκπληκτικό ότι ένας τόσο μικρός αισθητήρας μπορεί να κάνει τόσα πολλά. Διαβεβαιώνω ότι οι κατασκευαστές και οι προγραμματιστές εφαρμογών θα συνεχίσουν να εργάζονται για την εκμετάλλευση των δυνατοτήτων του. Είμαι σίγουρος ότι θα ακούσουμε περισσότερες από μία φορές για νέες εφαρμογές της κάμερας ToF. Και τώρα ποιος θα πει ότι αυτή είναι μια περιττή προσθήκη στο κύριο σετ καμερών smartphone;
ενδιαφέρουσες πληροφορίες