Facebook Reality Labs розповідає про технологію відстеження рук

Facebook Reality Labs (FRL) працює над безліччю проектів, спрямованих на те, щоб зробити взаємодію з технологіями більш доступною. Технології, над якими працює FRL, включають гарнітури VR і окуляри AR. Технологія відстеження рук особливо важлива для віртуальної реальності, дозволяючи технологіям бути більш захоплюючими з підходом до людської взаємодії за принципом «приходь як є».

Робота, яка виконується в FRL, спрямована на створення більш природних механізмів і почалася з сенсорних контролерів. Ці контролери були спроектовані так, щоб їх було зручно тримати, і в них було багато сенсорів. Сенсорні контролери забезпечували реалістичну присутність рук і робили базові взаємодії віртуальної реальності більш схожими на справжні.

FRL працює над усуненням необхідності ручних контролерів. Лабораторія почала працювати над відстеженням рук для віртуальної реальності понад п’ять років тому, і в той час ніхто ніколи не поставляв можливості відстеження рук споживчої якості без використання контролера. Це означало, що технологію потрібно було створювати з нуля.

На відео показаний процес розробки, що демонструє прототипи деяких пристроїв, які привели до створення кінцевого продукту. Наразі FRL вивчає нові експериментальні форми введення тексту, що є спільним і важливим завданням для підвищення продуктивності. Компанія FRL запропонувала новий метод, що дозволяє друкувати наосліп на будь-якій плоскій поверхні без клавіатури, використовуючи рух руки за допомогою системи відстеження рук на основі маркерів. Ця система вводить і декодує рух безпосередньо в текст, який користувач мав намір ввести.

Дослідники відзначають, що технологія все ще перебуває на початковій стадії дослідження, але демонструє потенціал відстеження рук для сценаріїв активності. Дослідники повинні були розібратися в безладних шаблонах набору тексту і перейняти методи статистичного декодування з автоматичного розпізнавання мови з використанням моделі руху для прогнозування натискань клавіш по руху руки. Використовуючи цей метод, друкарки набирали в середньому 73 слова у хвилину з 2,4% невиправлених помилок при використанні рук, плоскій поверхні і більш нічого. Друкарки досягли такої ж швидкості і точності, використовуючи нову систему, як якби вони використовували справжню клавіатуру.

Читайте також:

• Microsoft досліджує реалістичні відчуття у VR з гаджетом на зап’ясті
• Adobe планує використовувати ШІ для виправлення розмитих кадрів