Ostatnio aparaty ToF stały się integralną częścią zestawu aparatów we nowoczesnym flagowym smartfonie. Ale jak działają, dlaczego w ogóle są potrzebne i gdzie można je wykorzystać?
„Są, no i niech będą” — powie większość użytkowników. Faktem jest, że publikuje się bardzo mało informacji na temat czujników ToF. Chyba że moi koledzy dziennikarze, a nawet nie wszyscy, oraz wyspecjalizowani eksperci potrafią jasno wytłumaczyć potrzebę w tych aparatach. Wyjaśnijmy tę kwestię. Być może część tekstu będzie zawierać wiele terminów, ale postaram się jak najprościej wyjaśnić, czym jest aparat ToF, gdzie można zastosować jego możliwości i jak zobaczyć w akcji. Cóż, zaczynamy!
Co to jest aparat ToF?
Pamiętasz te filmy o okrętach podwodnych podczas II wojny światowej? Zawierał sprzęt sonarowy używany do wykrywania statków wroga. Urządzenie wysyła słyszalny „ping” do wody i czeka na odbicie sygnału. W zależności od czasu potrzebnego na powrót fali dźwiękowej, specjalista próbował określić położenie okrętu podwodnego wroga.
Podobnie jak sonar, kamera ToF mierzy czas potrzebny do odbicia światła od obiektu. Następnie aparat wykorzystuje dane opóźnienia do określenia odległości. W ten sposób czujnik ToF tworzy trójwymiarową mapę świata.
Dlatego sensory ToF są czasami nazywane „kamerami do głębi”. Aparat ToF (Time of Flight — «czas lotu» z angielskiego) to czujnik, który jest w stanie emitować światło w widmie podczerwieni, a następnie ustalać prędkość jego odbicia od obiektu. Sam czujnik składa się z dwóch części: pierwsza to dioda emitująca podczerwone promieniowanie, a druga to specjalna światłoczuła matryca.
Aparat mierzy czas, po którym światło odbite od obiektu wraca do niego. Na podstawie obliczeń wykonanych z nanosekundową dokładnością urządzenie jest w stanie nie tylko dokładnie oszacować odległość poszczególnych obiektów od czujnika, ale także określić ich kształt. To prawda, że jest bardzo podobny do sonaru. Tylko w tym przypadku zamiast dźwięku wysyłamy do obiektu światło.
Czytaj także: Recenzja OPPO Reno4 Lite: piękny design, dobre aparaty, dostateczna wydajność
Czujniki działające na podobnej zasadzie są również wykorzystywane w pojazdach autonomicznych czy nawet w sondach kosmicznych budowanych przez NASA. Postępująca miniaturyzacja i stosunkowo niskie koszty produkcji oznaczają, że ta technologia może być dziś w twojej kieszeni. Faktem jest, że czujniki ToF są już obecne w kilku topowych smartfonach. Na przykład: Motorola Moto G100, Huawei P40, Samsung Galaxy S20, OPPO RX17 Pro, Sony Xperia 1.
Co ciekawe, w latach 2019-2020 czujniki ToF były częściej używane, a teraz na przykład Samsung całkowicie zrezygnował z nich. Ale według plotek, mogą one wrócić w serii S22. Sensory ToF są zastępowane tanimi czujnikami głębi (2-5 Mpx), kamerami LiDAR (więcej o nich tutaj) oraz kombinacjami innych modułów.
Potencjał tego czujnika jest po prostu olbrzymi. Być może wkrótce Google zainstaluje również taki aparat w swoich smartfonach Pixel. Możliwe, że Apple zwróci uwagę na czujnik ToF i przyczyni się do większej popularyzacji tej technologii, a także w pełni wykorzysta jej możliwości. Chociaż na razie preferują LiDAR.
Cóż, teoria jest jasna, przyjrzyjmy się teraz bliżej, do czego zdolny jest aparat ToF w praktyce. Musisz zrozumieć, że nie możesz po prostu wziąć i włączyć tego czujnika, ale nadal możesz go używać w niektórych aplikacjach, nawet podczas fotografowania aparatem.
Czytaj także: LiDAR w iPhonie 12 Pro: co to jest i dlaczego?
Jak można używać aparatu ToF?
Mierzymy odległość
W niektórych smartfonach Samsung (w tym Note10+, S20+), Huawei (P40 Pro, Mate 40 Pro) i Moto (G100, G 5G Plus) można zainstalować aplikację do pomiaru odległości o nazwie Measure.
Wszystko działa bardzo łatwo i z imponującą dokładnością. W ramach testów zmierzyłem długość, szerokość i przekątną ekranu swojego telewizora za pomocą tej aplikacji oraz smartfona Samsung Galaxy S20 Ultra, a telefon podał wymiary z dokładnością do jednego centymetra.
Rozmywanie tła podczas robienia zdjęcia
Jednym z zastosowań systemu wizualizacji 3D jest stworzenie cyfrowej głębi ostrości, dzięki czemu można dodać rozmyte tło do zdjęć lub filmów. Na razie działa to tylko w przypadku zdjęć, a nie filmów. Funkcja pozwala również pozbyć się zbędnych obiektów uchwyconych w kadrze albo tła, które psują wrażenie ze zdjęcia.
Ponadto w niektórych telefonach czujnik ToF obsługuje autofokus lub pozwala dokładniej rozmyć tło w trybie portretowym. Krótko mówiąc, pomaga robić najlepsze selfie, aby zachwycić obserwujących, na przykład na Instagramie.
Czytaj także: Jak zmieniłam Android na iPhone, część II: Apple Watch i AirPods – czy ekosystem jest aż taki dobry?
Śledzenie ruchu
Smartfon LG G8 ThinQ ma umieszczony na przednim panelu czujnik ToF, który służy między innymi do wykrywania gestów wykonywanych w powietrzu. Nie chcę mi się bardzo rozmawiać o możliwości używania takich gestów, lepiej przekonać własnym doświadczeniem.
W Google Play jest również kilka gier ruchowych, podobnych do tych obsługiwanych przez kontroler Microsoft Kinect.
Tworzenie modeli 3D i rzeczywistość rozszerzona
O możliwości tworzenia modeli 3D za pomocą kamery ToF można mówić bez końca. Już teraz możesz stworzyć model swojej twarzy, używając zdjęć selfie pod różnymi kątami, a nawet wydrukować go, jeśli masz pod ręką drukarkę 3D. Oczywiście ktoś powie, że to tylko gry i zabawki. Ale jest całkiem możliwe, że w przyszłości za pomocą kamer ToF będą tworzyć części do samochodów lub innych mechanizmów.
Wirtualna i rozszerzona rzeczywistość coraz częściej puka do naszych drzwi. Gry w rzeczywistości rozszerzonej coraz częściej pojawiają się na smartfonach z systemem Android i iOS. To jest zabawne, pouczające i pozwala spędzać czas z pożytkiem. W szczególności w sklepie Google Play można już znaleźć dużą liczbę aplikacji i gier z obsługą platformy Google ARCore. Wystarczy pobrać i zainstalować aplikację Google Play Services for AR, a będziesz mieć dostęp do podobnych gier i aplikacji w rzeczywistości rozszerzonej. Samo użycie aparatu ToF pozwala w pełni cieszyć się efektem rozszerzonej rzeczywistości.
Z kolei w nowym Apple iPad Pro czujnik głębi odpowiada za dokładniejsze nakładanie się wirtualnych obiektów na obraz z kamery w trybie rozszerzonej rzeczywistości.
Czytaj także: Test odkurzacza Dyson V11 Absolute – z nim polubisz sprzątanie!
Smartfon jako noktowizor?
Obecnie w przypadku większości urządzeń czujnik ToF działa prawie niewidocznie dla użytkownika, obsługując tylko funkcje, które wymagają wykrywania głębi sceny.
Jednak w Google Play znalazłem świetną aplikację Night Vision, która pozwala używać skanera 3D w niezwykłej roli.
Program wyświetla w czasie rzeczywistym to, co rejestruje czujnik ToF. Ponieważ wykorzystuje niewidoczną dla ludzkiego oka podczerwień, mapa głębi jest doskonale widoczna nawet w absolutnej ciemności.
Zaskoczyło mnie, jak duży obszar może zeskanować taki malutki czujnik. Spodziewałem się, że podda się po kilkudziesięciu centymetrach, ale w praktyce okazało się, że w mgnieniu oka da się stworzyć trójwymiarową mapę całego pomieszczenia. Aparat ToF z łatwością wykrywa kształt małych obiektów w odległości 4-5 metrów.
Twoje dziecko szczególnie polubi ten noktowizor. Jestem pewien, że od razu pobiegnie badać najciemniejsze zakątki waszego mieszkania czy domu.
Czytaj także: Kim są biohakerzy i dlaczego dobrowolnie się czipują?
Aparat ToF jako czujnik biometryczny
Kamera ToF jest najczęściej realizowana jako dwa miniaturowe otwory, w których ukryta jest dioda podczerwieni i matryca. Nasuwa się tutaj pytanie: “Dlaczego Apple nie chce używać tej technologii zamiast systemu TrueDepth dla Face ID, którego liczne czujniki zajmują ponad połowę szerokości ekranu telefonu?”
Przyczyną jest prawdopodobnie niska jakość skanowania. Kamery ToF używane w smartfonach mają obecnie bardzo niską rozdzielczość (do 240p), co skutkuje wysoką pikselizacją obrazu.
Jak widać, szczegóły takiego skanu są zbyt małe, aby oprogramowanie mogło dokładnie wykryć rysy twarzy.
Ale osobiście nie widzę przeciwwskazań, zgodnie z którymi skaner twarzy nie mógł pracować w trybie hybrydowym. Teoretycznie, podczas gdy aparat do selfie analizuje rysy twarzy i wykrywa otwarte oczy, czujnik ToF sprawdza, czy ma do czynienia z obiektem 3D o określonym kształcie i rozmiarze, a nie ze zdjęciem.
Taki skaner jest potencjalnie bardzo trudny do oszukania, a jednocześnie jest szybki, tani i nieinwazyjny. Więc nie zdziwiłbym się, gdyby Apple w najbliższej przyszłości wykorzystał technologię ToF do stworzenia skanera Face ID nowej generacji, po czym tego rodzaju rozpoznawanie twarzy 3D stanie się bardziej powszechne.
Udało mi się dowiedzieć, że taki czujnik jest zainstalowany w Huawei P40 Pro — znajduje się pomiędzy dwoma przednimi aparatami i bierze udział w procesie odblokowywania smartfona twarzą. Zaskoczyło mnie też, dlaczego odblokowywanie twarzą w Huawei P40 Pro jest znacznie szybsze niż w jego poprzedniku P30 Pro… A powód to tylko ToF. Poza tym na pewno nie da się oszukać nowego flagowca przy pomocy fotografii. Właśnie to sprawdziłem przed chwilą.
Czytaj także: ТОP-10 smartwatchy z pulsoksymetrem (SpO2) w 2021 roku
Przyszłe aplikacje dla filmowców mobilnych
Każdy, kto używa swojego smartfona do nagrywania wideo, będzie bardzo zainteresowany, czy technologia 3D ToF może zostać użyta do dodania małej głębi ostrości tła. Zwłaszcza jeśli proces można przełożyć na postprodukcję, ponieważ zapewnia to dużą elastyczność.
Możliwości ToF są również potencjalnie interesujące dla tych, którzy dodają efekty komputerowe do swoich filmów. Na przykład podczas śledzenia ruchu w filmie najlepiej skupić się na obiekcie tak dokładnie, jak to możliwe. Korzystanie z mapy 3D powinno pozwolić nam na sfotografowanie wszystkiego, co jest ostre, a później dodać niezbędne rozmycie tła i efektów specjalnych, jeśli to konieczne.
To tylko spekulacje z mojej strony, ale skanowanie 3D z pewnością ma ogromny potencjał w zakresie poprawy jakości nagrywania wideo. Udowodniło to już nowoczesne kino i mam nadzieję, że wkrótce pojawi się w segmencie konsumenckim.
Powodem, dla którego te funkcje nie są jeszcze dostępne w aparatach smartfonów podczas nagrywania wideo, jest, prawdopodobnie, potrzeba zwiększonej mocy przetwarzania. Testy pokazały, że smartfony nagrzewają się podczas korzystania z czujnika ToF. A ponieważ nie mają aktywnego chłodzenia, może to stanowić pewne problemy.
Myślę jednak, że wraz ze wzrostem mocy procesorów mobilnych kamery ToF będą coraz szerzej wykorzystywane w zastosowaniach fotograficznych i wideo.
Czytaj także: Jak ludzie wyobrażali sobie przyszłość sto lat temu
Jedno jest pewne — ToF ma duży potencjał.
Już sam fakt, że smartfon może działać jako ultraprecyzyjny miernik odległości lub noktowizor sprawia, że już nigdy nie kupię telefonu bez czujnika ToF. To jedna z najciekawszych technologii ostatnich lat i jest dopiero na początku swojej podróży.
To imponujące, że tak mały czujnik może tyle zrobić. Trzymam kciuki, aby twórcy aplikacji i programiści nieustannie pracowali nad wykorzystaniem jej możliwości. Jestem pewien, że o nowym zastosowaniu aparatu ToF usłyszymy niejednokrotnie. I kto teraz powie, że to bezużyteczny dodatek do głównego zestawu aparatów w smartfonach?
Czytaj także: