לאחרונה, מצלמות ToF הפכו לחלק בלתי נפרד ממערך המצלמות של סמארטפון דגל מודרני. אבל איך הם עובדים, למה הם בכלל נחוצים והיכן ניתן להשתמש בהם?
"הם, כך יהיה", יאמרו רוב המשתמשים. העובדה היא שמעט מאוד מידע מתפרסם על חיישני ToF. אלא אם כן חברי העיתונאים, ולא כולם, ואפילו מומחים מומחים, יכולים להסביר בבירור את הצורך בהם. בואו נביא קצת בהירות לנושא הזה. אולי חלק מהטקסט יכיל הרבה מונחים, אבל אנסה להסביר בצורה פשוטה ככל האפשר מהי מצלמת ToF, היכן ניתן ליישם את היכולות שלה וכיצד לראות אותה בפעולה. ובכן, בוא נלך!
מהי מצלמת ToF?
זוכרים את סרטי הצוללות האלה ממלחמת העולם השנייה? שם הופיע ציוד סונאר המשמש לזיהוי ספינות אויב. המכשיר שולח צליל "פינג" לחלל המים וממתין לשתקף האות. בהתאם לזמן שלקח לגל הקול לחזור, המומחה ניסה לקבוע את מיקומה של צוללת האויב.
בדיוק כמו סונאר, מצלמת ToF מודדת את הזמן שלוקח לאור להקפיץ אובייקט. לאחר מכן, המצלמה משתמשת בנתוני ההשהיה כדי לקבוע את המרחק. לפיכך, חיישן ה-ToF יוצר מפה תלת מימדית של העולם.
לכן מצלמות ToF נקראות לפעמים גם "מצלמות עומק". מצלמת ה-ToF (Time of Flight) היא חיישן המסוגל לפלוט סוג כלשהו של אור בספקטרום האינפרא אדום ולאחר מכן לתעד את מהירות ההשתקפות שלו מהאובייקט. החיישן עצמו מורכב משני חלקים: הראשון הוא דיודה הפולטת אור אינפרא אדום, והשני הוא מטריצה מיוחדת הרגישה לאור.
המצלמה מודדת את הזמן שאחריו חוזר אליה האור המוחזר מהאובייקט. בהתבסס על חישובים שנעשו עם דיוק של עד ננו-שנייה, המכשיר מסוגל לא רק להעריך במדויק את המרחק של עצמים בודדים מהחיישן, אלא גם לקבוע את צורתם. נכון, זה מאוד דומה לסונאר סונאר. רק במקרה זה, אנו שולחים אור לאובייקט במקום קול.
חיישנים שעובדים על עיקרון דומה משמשים גם במכוניות אוטונומיות או אפילו בדיקות חלל שנבנו על ידי נאס"א. מזעור מתקדם ועלויות ייצור נמוכות יחסית פירושם שהטכנולוגיה הזו יכולה להיות בכיס שלך היום. העובדה היא שחיישני ToF כבר נמצאים בסמארטפונים מובילים רבים. להלן כמה מכשירים ניידים המצוידים במצלמות ToF:
- Samsung Galaxy S10 5G
- Samsung Galaxy הערה 10 +
- Samsung Galaxy S20 +
- Samsung Galaxy S20Ultra 5G
- LG G8 Thin Q
- OPPO RX17 Pro
- כבוד צפה 20
- Huawei P30 Pro
- Huawei Mate 30 Pro
- Huawei P40 Pro
- OPPO רינו
- Sony Xperia XZ4
אני בטוח שבכל שנה הרשימה הזו רק תתרחב, כי הפוטנציאל של החיישן הזה פשוט עצום. אולי בקרוב גוגל תתקין גם מצלמה כזו בפיקסלים שלה. יש גם תקווה כי ו Apple ישים לב לחיישן ה-ToF ויתרום לפופולריות הגדולה של טכנולוגיה זו, וכן ינצל את היכולות שלה במלואן. לא בכדי הופיע חיישן דומה באייפד פרו החדש.
ובכן, התיאוריה ברורה, עכשיו בואו נסתכל מקרוב על מה מסוגלת מצלמת ה-ToF בפועל. צריך להבין שאתה לא יכול פשוט לקחת ולהפעיל את החיישן הזה, אבל אתה עדיין יכול להשתמש בו ביישומים מסוימים, אפילו בעת צילום במצלמה.
כיצד ניתן להשתמש במצלמת ToF?
אנחנו מודדים את המרחק
בחלק מהטלפונים החכמים Samsung (כולל Note10+, S20+ ו-S20 Ultra) ו Huawei (כולל P30 Pro, Mate 30 Pro, Huawei P40 Pro) אתה יכול להתקין אפליקציית מדידת מרחק בשם Measure.
הכל עובד די פשוט ובדיוק מרשים. במסגרת הבדיקות מדדתי באמצעות אפליקציה זו וסמארטפון Samsung Galaxy S20 Ultra אורך, רוחב ואלכסון של מסך הטלוויזיה שלך, והטלפון נתן את המידות לסנטימטר הקרוב ביותר.
טשטוש רקע בעת צילום תמונה
יישום אחד של מערכת עיבוד תלת מימד עשוי להיות יצירת עומק שדה דיגיטלי כך שתוכל להוסיף רקע מטושטש לתמונות או לסרטונים שלך. זה עובד רק לתמונות כרגע, לא לסרטונים. הפונקציה מאפשרת לנו גם להיפטר מחפצים מיותרים שנכנסו לפריים או רקעים שמקלקלים את הרושם מהתמונה.
בנוסף, בטלפונים מסוימים, חיישן ה-ToF תומך בפוקוס אוטומטי או מאפשר לטשטש את הרקע בצורה מדויקת יותר במצב פורטרט. בקיצור, זה עוזר לך לצלם סלפי טוב יותר כדי לשמח את העוקבים שלך, כמו ב Instagram.
מעקב תנועה
לסמארטפון LG G8 ThinQ יש חיישן ToF הממוקם בפאנל הקדמי, המשמש בין היתר לזיהוי מחוות המבוצעות בחלל. אני לא ממש רוצה לדבר על האפשרויות של שימוש במחוות כאלה, עדיף שתראה בעצמך.
ל-Google Play יש גם כמה משחקי תנועה דומים לאלו הנתמכים על ידי הבקר Microsoft קינקט.
יצירת מודלים תלת מימדיים ומציאות רבודה
על האפשרות ליצור מודלים תלת מימדיים בעזרת מצלמת ToF אפשר לדבר בלי סוף. כבר עכשיו תוכלו להשתמש בתמונות סלפי מזוויות שונות כדי ליצור דגם של הפנים שלכם ואפילו להדפיס אותו אם יש לכם מדפסת תלת מימד בהישג יד. כמובן שמישהו יגיד שאלו רק משחקים ובידור. אבל בהחלט ייתכן שבעתיד ישמשו מצלמות ToF ליצירת חלקים למכוניות או למנגנונים אחרים.
מציאות מדומה ורבודה מתדפקת יותר ויותר על דלתנו. משחקים עם תמיכה במציאות רבודה מופיעים יותר ויותר בסמארטפונים Android ו-iOS. זה מרגש, מלמד ומאפשר לך לבלות את הזמן שלך עם תועלת. בפרט, ב-Play Market כבר ניתן למצוא מספר רב של אפליקציות ומשחקים עם תמיכה בפלטפורמת Google ARCore. מספיק להוריד ולהתקין את אפליקציית שירותי Google Play עבור AR, ומשחקים ואפליקציות כאלה יהיו זמינים עבורכם במציאות רבודה. עצם השימוש במצלמת ה-ToF נותן לך את ההזדמנות ליהנות באופן מלא מהאפקט של מציאות רבודה.
בתורו, בחדש Apple חיישן העומק של iPad Pro אחראי לשכבה מדויקת יותר של אובייקטים וירטואליים על התמונה מהמצלמה במצב מציאות רבודה.
סמארטפון כמכשיר לראיית לילה?
נכון לעכשיו, עבור רוב המכשירים, חיישן ה-ToF עובד כמעט באופן בלתי מורגש עבור המשתמש, ותומך רק בפונקציות הדורשות קביעת עומק הסצנה.
עם זאת, בגוגל פליי מצאתי אפליקציה מצוינת בשם Night Vision, המאפשרת להשתמש בסורק התלת מימד בתפקיד יוצא דופן. התקנתי את זה על שלי Huawei P30 Pro.
האפליקציה מציגה בזמן אמת את מה שחיישן ה-ToF לוכד. מכיוון שהוא משתמש באור אינפרא אדום, שאינו נראה לעין האנושית, מפת העומק נראית בבירור גם בחושך מוחלט.
הופתעתי מכמה שטח גדול חיישן זעיר כזה יכול לסרוק. ציפיתי שהוא יתרוקן אחרי כמה עשרות סנטימטרים, אבל בפועל התברר שאפשר ליצור מפה תלת מימדית של כל החדר ברגע. מצלמת ה-ToF מזהה בקלות צורה של עצמים קטנים במרחק של 4-5 מטרים.
הילד שלך יאהב במיוחד מכשיר כזה לראיית לילה. אני בטוח שהיא תרוץ מיד לחקור את הפינות האפלות ביותר של הדירה או הבית שלך.
מצלמת ToF כחיישן ביומטרי
מצלמת ה-ToF מיושמת לרוב בצורה של שני חורים מיניאטוריים, בהם דיודה האינפרא אדום והמטריצה מוסתרות. כאן נשאלת השאלה: "למה Apple לא רוצה להשתמש בטכנולוגיה הזו במקום מערכת ה-TrueDepth שלה, שמספר החיישנים שלה תופסים יותר ממחצית רוחב מסך הטלפון?"
הסיבה היא כנראה האיכות הירודה של הסריקה. למצלמות ToF המשמשות בסמארטפונים יש כרגע רזולוציה נמוכה מאוד (עד 240p), וכתוצאה מכך תמונות מפוקסלות מאוד.
כפי שניתן לראות, הפרטים של סריקה כזו קטנים מכדי שהתוכנה תזהה במדויק תווי פנים.
אבל, באופן אישי, אני לא רואה שום התוויות נגד, לפיהן סורק הפנים לא יכול היה לעבוד במצב היברידי. תיאורטית, במקביל שמצלמת הסלפי מנתחת תווי פנים ומזהה עיניים פקוחות, חיישן ה-ToF בודק האם הוא באמת עוסק באובייקט תלת מימדי בצורה וגודל מסוימים, ולא בתמונה.
סורק כזה פוטנציאלי קשה מאוד להטעות, ויחד עם זאת הוא מהיר, זול ולא פולשני. אז אני לא אתפלא אם זה יהיה בעתיד הקרוב Apple ישתמש בטכנולוגיית ToF כדי ליצור סורק Face ID מהדור הבא, כך שסוג זה של זיהוי פנים תלת מימד יהפוך לנפוץ יותר.
הצלחתי לגלות את זה ב Huawei ל-P40 Pro מותקן בדיוק חיישן ToF כזה, הוא ממוקם בין המצלמה הקדמית הכפולה ומשתתף בתהליך פתיחת נעילת הפנים. ועדיין תהיתי למה פתיחת הנעילה בפנים פועלת Huawei ה-P40 Pro מהיר בהרבה מקודמו, ה-P30 Pro. בנוסף, בהחלט אי אפשר לרמות את ספינת הדגל החדשה בעזרת תמונה. רק נבדק על ידי.
אפליקציות עתידיות ליוצרי סרטים ניידים
כל מי שמשתמש בסמארטפון שלו כדי לצלם וידאו יתעניין מאוד אם ניתן להשתמש בטכנולוגיית 3D ToF כדי להוסיף עומק שדה רדוד לרקע. במיוחד אם ניתן להעביר את התהליך לפוסט-פרודקשן, מכיוון שהוא מספק גמישות רבה יותר.
כמו כן, יכולות ToF מעניינות פוטנציאל למי שמוסיף אפקטי מחשב לסרטונים שלהם. לדוגמה, בעת מעקב אחר תנועה בסרטון, עדיף להתמקד באובייקט בצורה מדויקת ככל האפשר. שימוש במפה תלת מימדית אמור לאפשר לנו לצלם הכל בפוקוס, ובהמשך להוסיף את טשטוש הרקע הנדרש ואפקטים מיוחדים במידת הצורך.
זו רק ספקולציה מצידי, אבל לסריקה בתלת מימד יש בהחלט פוטנציאל עצום לשפר את תהליך לכידת הווידאו. זה כבר הוכח על ידי הקולנוע המודרני, ואני מקווה שיופיע בקרוב בגזרת הצרכנים.
הסיבה לכך שפונקציות אלו עדיין אינן זמינות במצלמות סמארטפונים בעת צילום וידאו קשורה כנראה בצורך בכוח עיבוד מוגבר. בדיקות הוכיחו שסמארטפונים מתחממים בעת שימוש בחיישן ה-ToF. ומכיוון שאין להם קירור אקטיבי, זו יכולה להיות קצת בעיה.
אבל ככל שהכוח של מעבדים ניידים יגדל, אני חושב שמצלמות ToF יהפכו לשימוש נרחב יותר ביישומי צילום ווידאו.
דבר אחד אפשר לומר בוודאות - ל-ToF יש פוטנציאל גדול
עצם העובדה שסמארטפון יכול לתפקד כמכשיר למדידת מרחק מדוייק במיוחד או כמכשיר לראיית לילה, פירושה שלעולם לא אקנה טלפון ללא חיישן ToF. מדובר באחת הטכנולוגיות המעניינות של השנים האחרונות, והיא רק בתחילת דרכה.
זה מדהים שחיישן כל כך קטן יכול לעשות כל כך הרבה. אני מחזיק אצבעות שיצרנים ומפתחי אפליקציות ימשיכו לעבוד על ניצול היכולות שלה. אני בטוח שנשמע יותר מפעם אחת על יישומים חדשים של מצלמת ה-ToF. ועכשיו מי יגיד שמדובר בתוספת מיותרת לסט הראשי של מצלמות הסמארטפונים?
מידע מעניין