Récemment, les caméras ToF sont devenues partie intégrante de l'ensemble de caméras d'un smartphone phare moderne. Mais comment fonctionnent-ils, pourquoi sont-ils nécessaires et où peuvent-ils être utilisés ?
"Ils le sont, qu'il en soit ainsi", diront la plupart des utilisateurs. Le fait est que très peu d'informations sont publiées sur les capteurs ToF. A moins que mes confrères journalistes, et pas tous, et même des experts spécialisés, n'en expliquent clairement la nécessité. Apportons quelques éclaircissements sur cette question. Peut-être qu'une partie du texte contiendra beaucoup de termes, mais je vais essayer d'expliquer le plus simplement possible ce qu'est une caméra ToF, où vous pouvez appliquer ses capacités et comment la voir en action. Eh bien, allons-y !
Qu'est-ce qu'une caméra ToF ?
Vous souvenez-vous de ces films de sous-marins de la Seconde Guerre mondiale ? Des équipements sonar utilisés pour détecter les navires ennemis y sont apparus. L'appareil envoie un "ping" sonore dans l'espace aquatique et attend que le signal soit réfléchi. En fonction du temps de retour de l'onde sonore, le spécialiste tente de déterminer l'emplacement du sous-marin ennemi.
Tout comme le sonar, une caméra ToF mesure le temps nécessaire à la lumière pour rebondir sur un objet. La caméra utilise ensuite les données de retard pour déterminer la distance. Ainsi, le capteur ToF crée une carte du monde en trois dimensions.
C'est pourquoi les caméras ToF sont aussi parfois appelées "caméras de profondeur". La caméra ToF (Time of Flight) est un capteur capable d'émettre une sorte de lumière dans le spectre infrarouge puis d'enregistrer la vitesse de sa réflexion sur l'objet. Le capteur lui-même se compose de deux parties: la première est une diode qui émet de la lumière infrarouge et la seconde est une matrice spéciale sensible à la lumière.
La caméra mesure le temps après lequel la lumière réfléchie par l'objet lui revient. Sur la base de calculs effectués avec une précision allant jusqu'à une nanoseconde, l'appareil est capable non seulement d'estimer avec précision la distance des objets individuels par rapport au capteur, mais également de déterminer leur forme. Certes, il est très similaire au sonar sonar. Seulement dans ce cas, nous envoyons de la lumière à l'objet au lieu du son.
Des capteurs fonctionnant sur un principe similaire sont également utilisés dans des voitures autonomes ou encore des sondes spatiales construites par la NASA. La miniaturisation progressive et les coûts de fabrication relativement faibles signifient que cette technologie pourrait être dans votre poche aujourd'hui. Le fait est que les capteurs ToF sont déjà présents dans de nombreux smartphones haut de gamme. Voici quelques appareils mobiles équipés de caméras ToF :
- Samsung Galaxy S10 5G
- Samsung Galaxy Remarque10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 mince Q
- OPPO RX17 Pro
- Honneur Voir 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO Reno
- Sony Xperia XZ4
Je suis sûr que chaque année cette liste ne fera que s'allonger, car le potentiel de ce capteur est tout simplement énorme. Peut-être bientôt Google installera-t-il également une telle caméra dans ses Pixels. Il y a aussi l'espoir que et Apple prêtera attention au capteur ToF et contribuera à la grande vulgarisation de cette technologie, tout en utilisant pleinement ses capacités. Ce n'est pas pour rien qu'un capteur similaire est apparu dans le nouvel iPad Pro.
Eh bien, la théorie est claire, examinons maintenant de plus près ce dont la caméra ToF est capable en pratique. Il faut comprendre que vous ne pouvez pas simplement prendre et allumer ce capteur, mais vous pouvez toujours l'utiliser dans certaines applications, même lors de la prise de vue avec un appareil photo.
Comment utiliser une caméra ToF ?
Nous mesurons la distance
Sur certains smartphones Samsung (y compris Note10+, S20+ et S20 Ultra) et Huawei (y compris P30 Pro, Mate 30 Pro, Huawei P40 Pro), vous pouvez installer une application de mesure de distance appelée Measure.
Tout fonctionne assez simplement et avec une précision impressionnante. Dans le cadre des tests, j'ai mesuré à l'aide de cette application et d'un smartphone Samsung Galaxy La longueur, la largeur et la diagonale de l'écran du S20 Ultra de votre téléviseur et du téléphone ont donné les dimensions au centimètre près.
Flou d'arrière-plan lors de la prise d'une photo
Une application d'un système de rendu 3D pourrait être de créer une profondeur de champ numérique afin que vous puissiez ajouter un arrière-plan flou à vos photos ou vidéos. Cela ne fonctionne que pour les photos pour le moment, pas pour les vidéos. La fonction nous permet également de nous débarrasser des objets inutiles qui sont entrés dans le cadre ou des arrière-plans qui gâchent l'impression de l'image.
De plus, sur certains téléphones, le capteur ToF prend en charge l'autofocus ou permet de flouter l'arrière-plan avec plus de précision en mode portrait. En bref, cela vous aide à prendre de meilleurs selfies pour ravir vos abonnés, comme dans Instagram.
Suivi de mouvement
Le smartphone LG G8 ThinQ dispose d'un capteur ToF situé sur le panneau avant, qui sert, entre autres, à détecter les gestes effectués dans l'espace. Je ne veux pas vraiment parler des possibilités d'utiliser de tels gestes, c'est mieux de voir par vous-même.
Google Play propose également plusieurs jeux de mouvement similaires à ceux pris en charge par la manette Microsoft Kinect.
Création de modèles 3D et réalité augmentée
La possibilité de créer des modèles 3D à l'aide d'une caméra ToF peut être évoquée à l'infini. Déjà maintenant, vous pouvez utiliser des photos de selfie sous différents angles pour créer un modèle de votre visage et même l'imprimer si vous avez une imprimante 3D à portée de main. Bien sûr, quelqu'un dira que ce ne sont que des jeux et des divertissements. Mais il est tout à fait possible qu'à l'avenir, les caméras ToF soient utilisées pour créer des pièces de voitures ou d'autres mécanismes.
La réalité virtuelle et augmentée frappe de plus en plus régulièrement à notre porte. Les jeux prenant en charge la réalité augmentée apparaissent de plus en plus sur les smartphones Android et iOS. C'est passionnant, éducatif et vous permet de passer votre temps avec profit. En particulier, sur le Play Market, vous pouvez déjà trouver un grand nombre d'applications et de jeux prenant en charge la plateforme Google ARCore. Il suffit de télécharger et d'installer l'application Google Play Services for AR, et ces jeux et applications seront à votre disposition en réalité augmentée. C'est justement l'utilisation de la caméra ToF qui permet de profiter pleinement de l'effet de réalité augmentée.
À son tour, dans le nouveau Apple Le capteur de profondeur de l'iPad Pro est responsable d'une superposition plus précise d'objets virtuels sur l'image de la caméra en mode réalité augmentée.
Smartphone comme appareil de vision nocturne ?
Actuellement, pour la plupart des appareils, le capteur ToF fonctionne de manière presque imperceptible pour l'utilisateur, ne prenant en charge que les fonctions qui nécessitent de déterminer la profondeur de la scène.
Cependant, dans Google Play, j'ai trouvé une excellente application appelée Night Vision, qui vous permet d'utiliser le scanner 3D dans un rôle inhabituel. je l'ai installé sur la mienne Huawei P30 Pro.
L'application affiche en temps réel ce que le capteur ToF capture. Parce qu'elle utilise la lumière infrarouge, qui est invisible à l'œil humain, la carte de profondeur est clairement visible même dans l'obscurité totale.
J'ai été surpris de la taille d'une zone qu'un si petit capteur peut numériser. Je m'attendais à ce qu'il se dégonfle après quelques dizaines de centimètres, mais en pratique, il s'est avéré que vous pouvez créer une carte en trois dimensions de toute la pièce en un instant. La caméra ToF détecte facilement la forme de petits objets à une distance de 4 à 5 mètres.
Votre enfant aimera particulièrement un tel appareil de vision nocturne. Je suis sûr qu'elle courra immédiatement explorer les coins les plus sombres de votre appartement ou de votre maison.
Caméra ToF comme capteur biométrique
La caméra ToF est le plus souvent implémentée sous la forme de deux trous miniatures, dans lesquels la diode infrarouge et la matrice sont cachées. Ici la question se pose : "Pourquoi Apple ne veut pas utiliser cette technologie à la place de son système TrueDepth, dont les multiples capteurs occupent plus de la moitié de la largeur de l'écran du téléphone ?
La raison en est probablement la mauvaise qualité du scan. Les caméras ToF utilisées dans les smartphones ont actuellement une très faible résolution (jusqu'à 240p), ce qui donne des images très pixélisées.
Comme vous pouvez le constater, les détails d'un tel scan sont trop petits pour que le logiciel puisse identifier avec précision les traits du visage.
Mais, personnellement, je ne vois aucune contre-indication, selon laquelle le scanner facial ne pourrait pas fonctionner en mode hybride. Théoriquement, en même temps que la caméra selfie analyse les traits du visage et détecte les yeux ouverts, le capteur ToF vérifie s'il s'agit bien d'un objet tridimensionnel d'une certaine forme et taille, et non d'une photo.
Un tel scanner est potentiellement très difficile à tromper, et en même temps il est rapide, bon marché et non invasif. Je ne serais donc pas surpris si dans un futur proche Apple utilisera la technologie ToF pour créer un scanner Face ID de nouvelle génération, de sorte que ce type de reconnaissance faciale 3D deviendra plus courant.
J'ai réussi à découvrir qu'en Huawei Le P40 Pro a juste un tel capteur ToF installé, il est situé entre la double caméra frontale et participe au processus de déverrouillage du visage. Et je me demandais toujours pourquoi le déverrouillage par visage était activé Huawei Le P40 Pro est beaucoup plus rapide que son prédécesseur, le P30 Pro. De plus, il est définitivement impossible de tromper le nouveau produit phare à l'aide d'une photo. Je viens de vérifier.
Futures applications pour les cinéastes mobiles
Quiconque utilise son smartphone pour filmer des vidéos sera extrêmement intéressé si la technologie 3D ToF peut être utilisée pour ajouter une faible profondeur de champ à l'arrière-plan. Surtout si le processus peut être transféré en post-production, car il offre plus de flexibilité.
De plus, les capacités ToF présentent un intérêt potentiel pour ceux qui ajoutent des effets informatiques à leurs vidéos. Par exemple, lors du suivi d'un mouvement dans une vidéo, il est préférable de se concentrer sur l'objet aussi précisément que possible. L'utilisation d'une carte 3D devrait nous permettre de tout photographier au point, puis d'ajouter le flou d'arrière-plan nécessaire et les effets spéciaux si nécessaire.
Ce ne sont que des spéculations de ma part, mais la numérisation 3D a certainement un énorme potentiel pour améliorer le processus de capture vidéo. Cela a déjà été prouvé par le cinéma moderne et, je l'espère, apparaîtra bientôt dans le segment grand public.
La raison pour laquelle ces fonctions ne sont pas encore disponibles dans les appareils photo des smartphones lors de la prise de vue vidéo est probablement liée à la nécessité d'avoir une puissance de traitement accrue. Des tests ont prouvé que les smartphones chauffent lors de l'utilisation du capteur ToF. Et comme ils n'ont pas de refroidissement actif, cela peut être un peu problématique.
Mais à mesure que la puissance des processeurs mobiles augmente, je pense que les caméras ToF seront de plus en plus utilisées dans les applications photo et vidéo.
Une chose peut être dite avec certitude - ToF a un grand potentiel
Le fait même qu'un smartphone puisse fonctionner comme un appareil de mesure de distance ultra-précis ou un appareil de vision nocturne signifie que je n'achèterai plus jamais un téléphone sans capteur ToF. C'est l'une des technologies les plus intéressantes de ces dernières années, et elle n'en est qu'au début de son parcours.
C'est incroyable qu'un si petit capteur puisse faire autant. Je croise les doigts pour que les fabricants et les développeurs d'applications continuent à travailler sur l'exploitation de ses capacités. Je suis sûr que nous entendrons plus d'une fois parler de nouvelles applications de la caméra ToF. Et maintenant, qui dira qu'il s'agit d'un ajout inutile à l'ensemble principal d'appareils photo pour smartphones ?
Une information intéressante