Investigadores de la Universidad de Maryland convirtieron los reflejos de los ojos en escenas 3D (algo perceptibles). El trabajo se basa en Neural Radiation Fields (NeRF), una tecnología de inteligencia artificial que puede reconstruir el entorno a partir de fotografías en 2D. Si bien el enfoque de mapeo de ojos tiene un largo camino por recorrer antes de la aplicación práctica, esta investigación ofrece una mirada fascinante a una tecnología que eventualmente podría revelar el entorno detrás de una serie de fotos de retratos simples.
El equipo usó sutiles reflejos de luz captados en los ojos humanos (usando imágenes secuenciales tomadas por un solo sensor) para tratar de reconocer el entorno inmediato de una persona. Comenzaron con varias imágenes de alta resolución desde una posición de cámara fija, capturando a una persona en movimiento mirando hacia la cámara. Luego magnificaron los reflejos, los aislaron y calcularon hacia dónde miraban los ojos en las fotos.
Los resultados (aquí está todo el conjunto en animación ) muestran una reconstrucción bastante notable del entorno a partir de ojos humanos en un entorno controlado. Una escena filmada con un ojo sintético (abajo) creó una escena onírica más impresionante. Sin embargo, tratar de simular los reflejos de los ojos en clips de Miley Cyrus y Lady Gaga produjo solo puntos borrosos que los investigadores solo pudieron adivinar que eran una rejilla LED y una cámara en un trípode, una ilustración de cuán lejos está la tecnología del uso en el mundo real.
El equipo superó obstáculos significativos para reconstruir incluso escenas toscas y borrosas. Por ejemplo, la córnea introduce un “ruido propio” que dificulta la separación de la luz reflejada de las complejas texturas del iris humano. Para resolver este problema, se implementaron durante el entrenamiento la optimización de la posición de la córnea (estimación de la posición y orientación de la córnea) y la descomposición de la textura del iris (extracción de características inherentes al iris humano). Finalmente, la regularización de la pérdida de textura radial (una técnica de aprendizaje automático que simula texturas más suaves que el material de origen) ayudó a aislar y mejorar aún más el escenario renderizado.
A pesar del progreso y las soluciones inteligentes, aún quedan barreras importantes. “Nuestros resultados actuales del mundo real se obtienen en ‘condiciones de laboratorio’, como la captura de un rostro humano ampliado, la iluminación de la escena con farolas y el movimiento humano intencional”, escriben los autores. “Creemos que las configuraciones más flexibles siguen siendo un desafío (como las videoconferencias con movimiento natural de la cabeza) debido a la menor resolución del sensor, el rango dinámico y el desenfoque de movimiento”. Además, el equipo señala que sus suposiciones universales sobre la textura del iris pueden ser demasiado simplistas para una aplicación generalizada, especialmente cuando los ojos suelen girar más ampliamente que en condiciones tan controladas.
Aún así, el equipo ve su progreso como un hito importante que podría allanar el camino para futuros avances. “Con este trabajo, esperamos inspirar futuras investigaciones que utilicen señales visuales aleatorias e inesperadas para revelar información sobre el mundo que nos rodea, ampliando los horizontes de la reconstrucción de escenas en 3D”. Si bien las versiones más maduras de este trabajo pueden haber generado algunas intrusiones espeluznantes y no deseadas en su privacidad, al menos puede estar tranquilo sabiendo que la versión actual solo puede parecerse remotamente a una muñeca Kirby, incluso en las condiciones más ideales.
Aquí te dejamos una lista de noticias que de seguro vas a querer leer: