Cinco preguntas sobre el Proyecto HoloLens de Microsoft

El miércoles por la mañana, Microsoft mostró un proyecto en el que han estado trabajando durante siete años, un auricular de realidad aumentada llamado Proyecto HoloLens.

La visión es ambiciosa: quieren cambiar fundamentalmente la forma en que las personas interactúan con las computadoras, mediante la construcción de un par de anteojos que puedan mezclar de manera fluida contenido virtual y real en el espacio físico del usuario. Esto es como la tecnología de realidad virtual Por qué la tecnología de realidad virtual te dejará boquiabierto en 5 años Por qué la tecnología de realidad virtual te dejará boquiabierto en 5 años El futuro de la realidad virtual incluye el seguimiento de la cabeza, los ojos y las expresiones, el tacto simulado y mucho más. Estas increíbles tecnologías estarán disponibles para usted en 5 años o menos. , pero fundamentalmente más poderoso. Además, quieren hacer todo el procesamiento localmente en los anteojos: sin computadora, sin teléfono, sin cables. Incluso están lanzando una versión especial de Windows solo para el nuevo hardware. Esta es la siguiente etapa en la evolución tecnológica de todos esos juegos de AR Aplicaciones de realidad aumentada: ¿útiles o simplemente exageradas? Pruebas MakeUseOf Aplicaciones de realidad aumentada: ¿útiles o simplemente exageradas? Pruebas MakeUseOf En 2011, los analistas predijeron el aumento de las aplicaciones móviles de Realidad Aumentada. La tecnología naciente revolucionaría la forma en que interactuamos con nuestros dispositivos móviles. Avance dos años y docenas de aplicaciones de AR pueblan todas ... una vez que instaló en su teléfono y no lo ha tocado desde.

Su marco de tiempo es aún más ambicioso que sus objetivos: quieren enviar kits para desarrolladores esta primavera y el producto de consumo. “durante el período de tiempo de Windows 10”. Aquí está el terreno de juego.

Todo esto suena genial, pero admito un alto grado de escepticismo..

Las tecnologías que utiliza Microsoft tienen desafíos serios y fundamentales, y hasta ahora Microsoft ha sido muy discreto sobre cómo (o si) los han resuelto. Si no los han resuelto, su objetivo de envío dentro de un año es muy preocupante. Lo último que necesitan VR y AR es que una gran compañía envíe otro producto a medio hornear como el Kinect. Recuerde la demostración del Proyecto Natal de 2009?

Sin más preámbulos, estas son las cinco cosas más importantes que me gustaría saber sobre HoloLens.

¿Es esta una pantalla de campo claro?

Para entender esto, tenemos que profundizar un poco más en 3D y cómo funciona. Para tener la sensación de un mundo 3D real y tangible, nuestros cerebros integran muchos tipos diferentes de información. Obtenemos pistas profundas sobre el mundo de tres maneras principales:

• Profundidad estéreo - La disparidad entre lo que ambos ojos ven. Fingiendo que así es como funcionan las películas en 3D
• Paralaje de movimiento - movimientos sutiles de nuestra cabeza y torso nos dan señales de profundidad adicionales para objetos que están más lejos
• Enfoque óptico - cuando nos enfocamos en algo, las lentes de nuestros ojos se deforman físicamente hasta que se enfoca; Los objetos de campo cercano requieren más distorsión de la lente, lo que proporciona información de profundidad sobre lo que estamos viendo

El enfoque óptico es fácil de comprobar por usted mismo: cierre un ojo y sostenga el pulgar frente a una pared al otro lado de la habitación. Luego, cambie su enfoque de su miniatura a la superficie detrás de él. Al mirar más allá de su pulgar, su pulgar se desenfocará porque la lente de su ojo ahora está menos deformada y no puede recoger correctamente la luz que proviene de él..

Los auriculares de realidad virtual como el Oculus Rift proporcionan las dos primeras señales con una precisión extrema, pero no la última, lo que funciona sorprendentemente bien: nuestros ojos por defecto se relajan por completo, ya que la óptica enfoca las imágenes ya que a través de la luz provienen de infinita distancia. La falta de señal de enfoque óptico no es realista, pero generalmente no distrae. Todavía puedes tener experiencias de juego geniales 5 Experiencias de juegos Oculus Rift que te dejarán boquiabierto 5 Experiencias de juegos Oculus Rift que te dejarán boquiabierto Ahora que la segunda generación del kit de desarrollo Oculus Rift está fuera y en manos de desarrolladores de todo el mundo, Echemos un vistazo a algunas de las mejores cosas que han afectado a la Grieta hasta ahora. sin ello.

En la realidad aumentada, el problema es diferente porque tienes que mezclar la luz de objetos reales y virtuales. La luz del mundo real se enfocará naturalmente en una variedad de profundidades. Sin embargo, el contenido virtual estará enfocado a una distancia fija y artificial dictada por la óptica, probablemente en el infinito. Los objetos virtuales no parecerán realmente parte de la escena. Estarán fuera de foco cuando mires las cosas reales a la misma profundidad y viceversa. No será posible mover el ojo de manera fluida por la escena mientras se mantiene enfocado, como lo hace normalmente. Las señales de profundidad conflictivas serán confusas en el mejor de los casos y enfermizas en el peor.

Para solucionar esto, necesita algo llamado pantalla de campo claro. Las pantallas de campo de luz son pantallas que usan una variedad de lentes pequeños para mostrar la luz enfocada a muchas profundidades simultáneamente. Esto permite al usuario enfocarse naturalmente en la pantalla y (para la realidad aumentada) resuelve el problema descrito anteriormente.

Sin embargo, hay un problema: las pantallas de campo de luz esencialmente asignan una sola pantalla 2D a un campo de luz tridimensional, lo que significa que cada “píxel de profundidad” que el usuario percibe (y existe a una profundidad focal particular en la escena) en realidad está compuesto de luz de muchos píxeles en la pantalla original. Cuanto más fina sea la profundidad que desea representar, más resolución tendrá que renunciar.

En general, los campos de luz tienen aproximadamente un ocho veces disminución de la resolución para dar una precisión de profundidad adecuada. Las mejores micropantallas disponibles tienen una resolución de aproximadamente 1080p. Suponiendo que una micropantalla de alta gama impulse cada ojo, eso haría que la resolución real de los auriculares de Microsoft sea de solo 500 x 500 píxeles por ojo, menos incluso que el Oculus Rift DK1. Si la pantalla tiene un campo de visión alto, los objetos virtuales serán bloques de píxeles incomprensibles. Si no es así, la inmersión sufrirá proporcionalmente. En realidad, nunca podemos ver a través de la lente (solo recreaciones de computadora de lo que el usuario está viendo), por lo que no tenemos idea de cómo es realmente la experiencia del usuario.

Es posible que Microsoft haya encontrado una solución novedosa para este problema, para permitir el uso de una pantalla de campo claro sin el compromiso de resolución. Sin embargo, Microsoft ha sido extremadamente cauteloso sobre su tecnología de visualización, lo que me hace sospechar que no lo han hecho. Aquí está la mejor explicación que tenemos hasta ahora (del CABLEADO manifestación).

Para crear imágenes del Proyecto HoloLens, las partículas de luz rebotan millones de veces en el llamado motor de luz del dispositivo. Luego, los fotones entran en las dos lentes de las gafas, donde rebotan entre las capas de vidrio azul, verde y rojo antes de que lleguen a la parte posterior del ojo..

Este tipo de descripción de la tecnología podría significar prácticamente cualquier cosa (aunque, para ser justos con Microsoft, el hardware impresionó a WIRED, aunque el artículo fue ligero en detalles).

No sabremos más con certeza hasta que Microsoft comience a publicar especificaciones técnicas, probablemente dentro de unos meses. En una nota adicional sobre la selección de liendres, ¿es realmente necesario ahogar el proyecto en este discurso de marketing? El procesador dedicado que utilizan para el seguimiento de cabezales se llama “procesador holográfico” y las imágenes se llaman “hologramas,” sin ninguna razón en particular. El producto es fundamentalmente lo suficientemente genial como para que realmente no sea necesario dorarlo así.

¿Es el seguimiento lo suficientemente bueno??

El auricular Project HoloLens tiene una cámara de alta profundidad FOV montada en él (como el Kinect), que utiliza para averiguar dónde está el auricular en el espacio (al tratar de alinear la imagen de profundidad que está viendo con su modelo del mundo, compuesto de imágenes de profundidad pasadas). Aquí está su demostración en vivo de los auriculares en acción.

El seguimiento es impresionante teniendo en cuenta que no utiliza marcadores u otros trucos, pero incluso en ese video (en condiciones muy controladas), puede ver una cierta cantidad de bamboleo: el seguimiento no es completamente estable. Eso es de esperar: este tipo de seguimiento de adentro hacia afuera es extremadamente difícil.

Sin embargo, la gran lección de los diversos prototipos de Oculus Rift Míranos Probar The Oculus Rift Crescent Bay en el CES 2015 Míranos Probar The Oculus Rift Crescent Bay en el CES 2015 El Oculus Rift Crescent Bay es un nuevo prototipo que muestra algunas mejoras interesantes en Tecnología de realidad virtual. Lo probamos en CES 2015. La precisión del seguimiento es muy importante. El seguimiento nervioso es simplemente molesto cuando se trata de unos pocos objetos en un mundo real en gran parte estable, pero en escenas como la demostración de Marte que mostraron en su video conceptual, donde casi todo lo que está viendo es virtual, el seguimiento impreciso podría conducir a una falta de “presencia” en la escena virtual, o incluso simulador de enfermedad. ¿Puede Microsoft obtener el seguimiento hasta el estándar establecido por Oculus (precisión de seguimiento submilimétrica y latencia total de menos de 20 ms) para su fecha de envío a finales de este año?

Aquí está Michael Abrash, un investigador de VR que ha trabajado para Valve y Oculus, hablando sobre el problema.

[Debido a que siempre hay un retraso en la generación de imágenes virtuales, [...] es muy difícil lograr que las imágenes virtuales y reales se registren lo suficientemente cerca para que el ojo no se dé cuenta. Por ejemplo, suponga que tiene una lata de Coca-Cola real que desea convertir en una lata de AR Pepsi dibujando un logotipo de Pepsi sobre el logotipo de Coca-Cola. Si se necesitan decenas de milisegundos para volver a dibujar el logotipo de Pepsi, cada vez que gire la cabeza, el efecto será que el logotipo de Pepsi parecerá moverse unos pocos grados en relación con la lata, y parte del logotipo de Coca-Cola se hará visible; entonces el logotipo de Pepsi volverá al lugar correcto cuando dejes de moverte. Esto claramente no es lo suficientemente bueno para AR difícil

¿Puede la pantalla dibujar negro?

Otro problema junto con la profundidad focal y el seguimiento tiene que ver con dibujar colores oscuros. Agregar más luz a una escena es relativamente simple, utilizando divisores de haz. Sacar la luz es mucho más difícil. ¿Cómo oscureces selectivamente partes del mundo real? Colocar una pantalla LCD selectivamente transparente no lo cortará, ya que no siempre puede estar en el foco correcto para bloquear lo que está mirando. Las herramientas ópticas para resolver este problema, a menos que Microsoft las haya inventado en secreto, simplemente no existen.

Esto es importante, porque para muchas de las aplicaciones que Microsoft está mostrando (como ver Netflix en su pared), el auricular realmente necesita la capacidad de eliminar la luz que viene de la pared, o su película siempre tendrá un patrón de estuco visible superpuesto con él: será imposible para las imágenes bloquear objetos reales en la escena, haciendo que el uso de los auriculares dependa en gran medida de las condiciones de iluminación ambiental. De vuelta a Michael Abrash:

[S] o hasta ahora no ha surgido nada por el estilo en la industria o literatura de AR, y a menos y hasta que lo haga, AR difícil, en el sentido SF que todos conocemos y amamos, no puede suceder, excepto en la oscuridad..

Eso no significa que AR esté fuera de la mesa, solo que por un tiempo será AR suave, basado en la mezcla de aditivos […] Nuevamente, piense en translúcido como “Cazafantasmas.” Las imágenes virtuales de alta intensidad sin áreas oscuras también funcionarán, especialmente con la ayuda del oscurecimiento regional o global; simplemente no se verán como parte del mundo real.

¿Qué pasa con la oclusión??

“Oclusión” es el término para lo que sucede cuando un objeto pasa frente a otro y le impide ver lo que hay detrás. Para que el escenario virtual se sienta como una parte tangible del mundo, es importante que los objetos reales ocluyan objetos virtuales: si levanta la mano frente a una pieza de imágenes virtuales, no debería poder verlo a través Tu mano. Debido al uso de una cámara de profundidad en el auricular, esto es realmente posible. Pero, mira la demostración en vivo nuevamente:

En general, controlan cuidadosamente los ángulos de la cámara para evitar que objetos reales pasen frente a los virtuales. Sin embargo, cuando el demostrador interactúa con el menú de Windows, puede ver que su mano no lo obstruye en absoluto. Si esto está fuera del alcance de su tecnología, es una muy mala señal para la viabilidad de su producto de consumo..

Y hablando de esa interfaz de usuario ...

¿Es esta realmente la interfaz de usuario final??

La interfaz de usuario mostrada por Microsoft en sus videos de demostración parece funcionar al usar alguna combinación de seguimiento de la mirada y la mano para controlar un cursor en la escena virtual, mientras que usa controles de voz para seleccionar entre diferentes opciones. Esto tiene dos inconvenientes principales: te hace ver como el niño pequeño de Shining que habla con su dedo, pero lo más importante, también representa un paradigma de diseño fundamentalmente defectuoso.

Históricamente, las mejores interfaces de usuario han sido las que traen intuiciones físicas sobre el mundo al mundo virtual. El mouse trajo clics, arrastrar y ventanas. La interfaz táctil trajo deslizar para desplazarse y pellizcar para hacer zoom. Ambos fueron críticos para hacer que las computadoras fueran más accesibles y útiles para la población en general, porque eran fundamentalmente más intuitivas que las anteriores..

VR y AR te dan mucha más libertad como diseñador: puedes colocar elementos de la interfaz de usuario en cualquier lugar de un espacio 3D y hacer que los usuarios interactúen con ellos de forma natural, como si fueran objetos físicos. Se sugiere una gran cantidad de metáforas obvias. Toque un elemento de la IU virtual para seleccionarlo. Pellizca para recogerlo y moverlo. Deslícelo fuera del camino para almacenarlo temporalmente. Aplastarlo para eliminarlo. Puede imaginarse creando una interfaz de usuario tan intuitiva que no requiera explicación. Algo que su abuela puede captar instantáneamente, porque está construido sobre una base de intuiciones físicas básicas que todos construyen durante toda una vida de interacción con el mundo. Tómese un minuto y escuche a esta persona inteligente describir qué interfaces inmersivas podrían ser.

En otras palabras, parece obvio (para mí) que una interfaz de usuario inmersiva debería ser al menos tan intuitivo como las interfaces táctiles iniciadas por el iPhone para pantallas multitáctiles 2D. Construyendo una interfaz para manipular un VR “ratón” es un paso atrás y expone profundas deficiencias tecnológicas en su tecnología de seguimiento manual o un malentendido fundamental de lo que es interesante sobre este nuevo medio. De cualquier manera, es una muy mala señal de que este producto sea más que un fracaso colosal a escala Kinect.

Con suerte, Microsoft tiene tiempo para recibir comentarios sobre esto y hacer un mejor trabajo. Como ejemplo, aquí hay una interfaz diseñada por un aficionado para Oculus Rift DK2 y Leap Motion. Una interfaz de usuario inmersiva diseñada por una gran empresa debería ser al menos tan buena.

Una muestra de lo que vendrá

En general, soy extremadamente escéptico del Proyecto HoloLens en su conjunto. Estoy muy contento de que una compañía con los recursos de Microsoft esté investigando este problema, pero me preocupa que estén tratando de lanzar un producto sin resolver algunos problemas técnicos subyacentes críticos o definir un buen paradigma de interfaz de usuario. El HoloLens es una señal de lo que vendrá, pero eso no significa que el producto en sí mismo vaya a proporcionar una buena experiencia a los consumidores..

Crédito de imagen: cortesía de Microsoft