La realidad virtual está a punto de cambiar la cinematografía para siempre

Hollywood está hablando de realidad virtual. En la conferencia Oculus Connect el mes pasado, un panel completo de ex alumnos de Hollywood habló sobre la tecnología y sus aplicaciones en la cinematografía..

Mientras tanto, los grandes bateadores de la industria están empezando a intervenir. James Cameron lo odia. David Attenborough está haciendo un documental al respecto. La reciente (excelente) película Interstellar tuvo una experiencia de realidad virtual promocionándola.

La realidad virtual es una nueva forma de comunicarse con su espectador, y muchas personas con experiencia en cine tradicional encuentran emocionantes las posibilidades. La realidad virtual, en lugar de solo proporcionar una ventana a un mundo nuevo, permite a los directores tomar el control del mundo entero alrededor del espectador.

¿Qué puedes hacer con una cámara VR??

No se necesita mucha imaginación para entusiasmarse con la idea de las cámaras de realidad virtual. Los cineastas podrían literalmente acercar al público cara a cara con sus personajes y sumergirlos en mundos espectaculares y extraños. Los fotógrafos podrían capturar escenas enteras, congeladas en el tiempo, para ser examinadas por cualquier persona, en cualquier parte del mundo..

Los documentalistas podrían llevar al público a lugares que de otro modo nunca podrían visitar. Podrían enviar una cámara VR al fondo del océano y dejar que los espectadores se paren en medio del salón de baile hundido del Titanic. Los documentales sobre la naturaleza podrían manipular el tiempo y el espacio, colocando a los usuarios entre hormigas del tamaño de perros o construyendo secuencias de lapso de tiempo inmersivo. La NASA podría montar una cámara VR en un rover de Marte y permitir que millones de personas se paren en el planeta rojo.

También hay, por supuesto, aplicaciones más mundanas:

Una de las claves para el éxito de la realidad virtual del consumidor serán los videos panorámicos estereoscópicos para gatos.

- John Carmack (@ID_AA_Carmack) 6 de noviembre de 2014

El video VR en vivo también podría ser muy convincente. Los juegos deportivos podrían ser atendidos de forma remota, las cámaras de realidad virtual les darían a todos asientos en la cancha. Incluso el turismo podría ser virtual.

Los usuarios pueden alquilar un simple robot de telepresencia (tal vez un Segway con una cámara de realidad virtual en el manillar) y pilotarlo en cualquier parte del mundo. El Segway retransmitiría su video en vivo, permitiendo a los turistas prácticamente “teletransportarse” ellos mismos en todo el planeta para explorar cualquier lugar. Parece seguro decir que la realidad virtual va a cambiar el mundo Por qué la tecnología de realidad virtual te dejará boquiabierto en 5 años Por qué la tecnología de realidad virtual te dejará boquiabierto en 5 años El futuro de la realidad virtual incluye el seguimiento de la cabeza, los ojos y la expresión, el tacto simulado , y mucho más. Estas increíbles tecnologías estarán disponibles para usted en 5 años o menos.. .

Sin embargo, la realización de películas de realidad virtual tiene muchos desafíos. ¿Cómo pueden los directores mover la cámara mientras mantienen cómodo al espectador? ¿Cómo cortan los directores una película sin desorientar al espectador? ¿Cómo se aseguran de que el espectador esté mirando en la dirección correcta para captar eventos importantes de la trama? ¿Los primeros planos tienen sentido??

Sin embargo, quizás los problemas más importantes son los prácticos: ¿cómo se graba el contenido para la realidad virtual? La representación de contenido de realidad virtual en vivo para juegos es computacionalmente intensivo, pero conceptualmente directo. Grabar la vida real, por el contrario, plantea algunos desafíos serios.

Cámara panorámica

La solución más simple (y la única ampliamente utilizada en este momento) es la captura de video panorámica simple. En este esquema, se utiliza una bola de cámaras convencionales para grabar video en todas las direcciones, y los resultados se unen con el software para crear una esfera de video sin interrupciones. Son muy parecidos a los panoramas que toma 5 consejos para tomar fotos panorámicas con su teléfono inteligente 5 consejos para tomar fotos panorámicas con su teléfono inteligente Las imágenes panorámicas de paisajes impresionantes casi siempre se ven maravillosas, pero pueden ser extremadamente difíciles de crear. Con un teléfono inteligente, existen varias técnicas y trucos que puede emplear para obtener los mejores resultados. e con su teléfono, pero grabado simultáneamente en formato de video. El resultado del proceso se parece a esto:

Esto es sencillo y barato. Puede pre-ordenar una cámara panorámica por alrededor de $ 700, pero tiene limitaciones. Lo más importante es la falta de profundidad: los panoramas se representan en una esfera infinitamente grande, por lo que el paralaje entre los ojos es cero, incluso para partes de la imagen que realmente deberían tener profundidad, como una persona parada a tu lado.

A pesar de esta deficiencia, la experiencia proporcionada por el video panorámico sigue siendo sorprendentemente genial, especialmente para el contenido que se lleva a cabo a distancia (la fotografía aérea es un buen ejemplo). Hace aproximadamente una semana, creé una aplicación Oculus Rift que representa una cabina virtual dentro del video de arriba, y los resultados son convincentes: se siente como viajar en un submarino rodeado de tortugas marinas del tamaño de pequeños edificios.

Piense en este tipo de contenido de realidad virtual como un teatro personal súper IMAX en el que está suspendido en medio de una gran pantalla esférica. La sensación de lugar proporcionada por el video esférico ya es algo imposible con las herramientas tradicionales de filmación. Incluso con sus limitaciones, este es probablemente el aspecto que tendrá la mayoría de los videos de realidad virtual en el futuro inmediato. El documental de Richard Attenborough (“La conquista de los cielos“) se está filmando en este formato.

Cámara panorámica estéreo

Digamos que un director no está contento con la limitación de los panoramas monoscópicos. Una extensión obvia de la tecnología es incorporar tecnología 3D lado a lado. Diversión de antaño: cómo hacer imágenes en 3D para ver sin gafas Diversión de antaño: cómo hacer imágenes en 3D para ver sin gafas Créalo o no, en realidad no necesitas gafas 3D para experimentar imágenes 3D (o películas) convincentemente realistas. Solo necesitas hacerte ir “bizco”. Esencialmente, miras dos imágenes y, intencionalmente ... Para hacer esto, el hardware necesita dos cámaras paralelas orientadas en cada dirección, compensadas por unos 6,3 cm. Luego, la cámara utiliza un software para unir dos imágenes panorámicas: una para el ojo izquierdo y otra para el derecho. La diferencia entre ellos crea la ilusión de profundidad. Los productos que respaldan esta experiencia están disponibles, aunque son caros ($ 995, más el costo de diez cámaras GoPro).

En un esfuerzo por hacer que este tipo de contenido sea más convencional, Samsung anunció recientemente “Proyecto más allá”, Una cámara panorámica estéreo VR para los auriculares móviles Oculus-Samsung Gear VR. El prototipo actual tiene la forma de un disco pequeño, utiliza 17 cámaras HD y genera un gigapíxel por segundo de datos..

A 30 fps, eso se traduce en cuadros panorámicos de aproximadamente 15 megapíxeles por ojo, o alrededor de 50,000 píxeles por ojo por grado visual. La información sobre precios sigue siendo un misterio, y Samsung enfatiza que este no es un proyecto terminado. Puedes ver su video de vista previa a continuación.

Las panorámicas estéreo son claramente una mejor experiencia que sus hermanos monoscópicos: las cosas grandes se ven grandes, las cosas pequeñas se ven pequeñas, los objetos tienen profundidad y posición, y se siente mucho más como estar allí. Dicho esto, la experiencia aún está lejos de ser perfecta. Como John Carmack describe en su nota clave de Oculus Connect, las panorámicas estéreo tienen muchos problemas.

“... panoramas estereoscópicos, ya sean fijos o videos, son absolutamente un truco. Hay, sabemos lo que es correcto y esto no es correcto. Lo que terminan haciendo es que tomas rebanadas de varias cámaras, así que de frente es el estéreo adecuado para un para-sabio y luego aquí es apropiado para esto. Pero eso significa que si estás mirando lo que era correcto para los ojos aquí, pero estás mirando por el rabillo del ojo aquí, definitivamente no está bien. No es la disparidad correcta para los ojos..

Y lo que es aún peor si giras la cabeza de esta manera [rueda la cabeza], se pone todo mal, porque está configurado solo para los ojos al frente. Entonces esto fue algo interesante. Tenemos cosas en las que básicamente sabemos de alguna manera que esto puede estar envenenado, esta puede ser una experiencia realmente mala si las personas a las que pasas mucho tiempo se encorvan. [...]

Estos son problemas técnicos que quizás podrían resolverse con un mejor hardware. Sin embargo, hay un problema más profundo: ¿qué sucede cuando mueves la cabeza? Los panoramas para ambos ojos todavía se representan en el infinito: mover físicamente la cabeza dará como resultado la sensación nauseabunda de que el mundo se mueve contigo, especialmente si hay objetos cerca de ti. No hay una forma directa de averiguar cómo sería una imagen estereoscópica desde un nuevo punto de vista.

A pesar de estas limitaciones, las experiencias panorámicas estéreo siguen siendo convincentes. La plataforma Gear VR se centrará en este tipo de experiencias, ya que pueden crearse con hardware moderno y mostrarse sin gravar las capacidades de representación del hardware. Las panorámicas estéreo probablemente serán el estándar de oro para la producción de contenido de realidad virtual, al menos durante los próximos años..

Cámaras de profundidad

Una alternativa a la captura de dos imágenes de lado a lado (como con las películas 3D tradicionales) es capturar lo que se conoce como imágenes de profundidad: una sola imagen capturada desde una perspectiva única, que contiene un canal de color adicional que almacena la distancia desde la lente del píxel en cuestión.

Si tiene eso, el software puede simular cámaras virtuales que visualizan la imagen desde nuevas perspectivas, asegurándose de tener siempre una imagen nueva y correcta de cada ojo. Es posible generar imágenes panorámicas de profundidad que permitan el movimiento y la rotación naturales de la cabeza de una manera que no es posible con panoramas estéreo. Existen algunas tecnologías que puede usar para capturar estas imágenes de profundidad.

Tiempo de vuelo

La versión de esta tecnología con la que probablemente esté más familiarizado es la que se usa en el Kinect. La Kinect V2 (la versión incluida con la Xbox One) se basa en lo que se conoce como cámara de tiempo de vuelo.

La teoría aquí es clara: las cámaras de tiempo de vuelo son cámaras infrarrojas que son capaces de grabar no solo donde la luz incide en el sensor, sino también cuando la luz incide en el sensor, con una precisión de unos pocos microsegundos. Esto se combina con una cámara de video en color y una luz estroboscópica infrarroja. Al comienzo de cada cuadro, la luz estroboscópica IR parpadea, iluminando la escena muy brevemente. Al medir el tiempo que tarda cada píxel en observar el flash, la cámara puede deducir, a partir de la velocidad de la luz, qué tan lejos está cada píxel de la cámara.

Esta tecnología es enormemente poderosa. Los hackers han hecho algunas cosas increíbles 5 Hacks de Microsoft Xbox Kinect que te dejarán boquiabierto 5 Hacks de Microsoft Xbox Kinect que te dejarán boquiabierto. Mediante el uso de varios Kinects en una configuración superpuesta, es posible crear un panorama de una escena, con un valor de profundidad preciso para cada píxel, que podría representarse en realidad virtual para crear una experiencia inmersiva con la profundidad correcta.

Para tener una idea de los tipos de resultados que produce este enfoque, vea este video que muestra la salida solo de la cámara de profundidad del Kinect V2.

Esta es una imagen de profundidad de alta calidad: muchos detalles, bordes limpios y poco ruido. Sin embargo, existen algunas limitaciones: la mayor advertencia es que el Kinect en este ejemplo está grabando una escena interior con condiciones de iluminación cuidadosamente controladas.

En escenarios del mundo real (y especialmente al aire libre), la interferencia IR ambiental de la luz solar directa e indirecta y las fuentes de luz incandescente pueden degradar la precisión. También hay un problema más fundamental, que es que las cámaras de tiempo de vuelo dependen de la iluminación activa. Eso pone algunos límites duros sobre cuán lejos pueden ver. Tampoco se adaptan bien a las superficies transparentes y reflectantes. Y, debido a que la resolución de profundidad está limitada por la precisión del tiempo, las cámaras de tiempo de vuelo no son muy útiles para grabar objetos pequeños, lo que hace imposible jugar con escala.

Campo de luz

Una tecnología diferente para capturar imágenes de profundidad se conoce como fotografía de 'campo de luz'. Cámara de campo de luz Lytro: ¿Snap Happy o Photo Gimmick? Cámara de campo de luz Lytro: Snap Happy o Photo Gimmick? Descrita por un empleado como "el primer cambio importante en la fotografía desde que se inventó la fotografía", la cámara de campo de luz Lytro es ciertamente un dispositivo revolucionario. La cámara sacude las cosas al reemplazar gran parte del pesado ... .

Así es como funciona: en la fotografía convencional, la lente de la cámara enfoca la luz entrante en un sensor. Cada elemento del sensor registra la cantidad de luz que lo golpea. Las cámaras de campo de luz utilizan un sensor especial, en el que cada “píxel” en realidad es una lente pequeña con muchos sensores debajo. Esto permite que la cámara mida no solo la cantidad de luz que llega a cada píxel, sino también el ángulo en el que entra la luz.

Esto es útil por algunas razones. La aplicación más simple es que, al cambiar la forma en que se muestrea este gran "campo de luz", los usuarios finales pueden volver a enfocar una fotografía después de haberla tomado. La aplicación que es interesante para la realidad virtual es que las cámaras de campo de luz también son, por cierto, cámaras de profundidad. El ángulo de la luz entrante de un objeto es una función de qué tan lejos está el objeto de la lente, en relación con el tamaño de la abertura. Los objetos lejanos producen luz que es casi perpendicular a la lente. Los objetos muy cercanos producen luz que es casi paralela. A partir de esto, es posible (con mucha precisión) determinar el mapa de profundidad de una imagen.

Puede ver algunos resultados de una cámara de video de campo de luz temprana a continuación, y cómo se ve la imagen reproyectada desde un ángulo diferente.

Debido a que es un proceso pasivo, el límite del rango y la precisión espacial se definen por la resolución y el tamaño de la apertura, y nada más. Eso significa que mediante el uso de lentes de aumento, es posible tomar imágenes de profundidad de campo claro de prácticamente cualquier objeto a cualquier escala en cualquier condición. Para obtener un ejemplo de lo que es posible con campos de luz más grandes y precisos, mire este video, que utiliza varios fotogramas de una cámara de campo de luz portátil para simular un campo de luz mucho más grande. Genera una geometría 3D bastante convincente a partir de ella..

Las cámaras de campo de luz son una tecnología mucho menos madura que las cámaras de tiempo de vuelo (en este momento solo hay una cámara de campo de luz en el mercado de consumo y no admite la captura de video). Dicho esto, con más tiempo de desarrollo, las cámaras de campo ligero deberían ofrecer una experiencia de video de profundidad mucho más robusta a largo plazo.

Lidiando con la Desoclusión

Hay un problema importante con los videos de profundidad que vale la pena mencionar: el movimiento de la cabeza. Sí, es posible volver a proyectar videos de profundidad a nuevas perspectivas, y todos los píxeles terminan donde deberían estar. El video de profundidad no te enfermará. Desafortunadamente, introducen un nuevo problema: la disoclusión.

Cuando mueves la cabeza de tal manera que estás mirando una parte del mundo que no es visible en la imagen o panorama original, obtienes un artefacto visual desagradable: una sombra. Para tener una idea de lo que estoy hablando, mira este video:

En ese video, un programador pirateó el Kinect para representar un video en profundidad de lo que está viendo en el espacio. Al mover la cámara virtual, reproyecta la escena desde varias perspectivas.

Es un Kinect de primera generación, por lo que la transmisión de video es un poco irregular, pero los resultados son bastante impresionantes. El mayor inconveniente, que se vuelve obvio cuando comienza a girar la cámara, son las sombras en la escena. La parte de la pared detrás de su cuerpo tiene un enorme agujero en forma de persona cortado: la parte que la cámara no puede ver y no tiene datos. Estas sombras negras aparecerán en panoramas profundos tan pronto como su cabeza comience a moverse. Entonces, ¿cómo lidian las cámaras VR con estos agujeros? Bueno, hay algunos enfoques para este problema:

Más cámaras

La solución más simple es registrar las cosas alrededor de las esquinas y detrás de las superficies de oclusión. Para hacer esto, agrega más cámaras, mucho más. Para permitir que las personas muevan la cabeza hacia arriba, digamos, un metro en cualquier dirección, la cámara debe expandirse para crear una esfera de 2 metros de ancho con cámaras de alta FOV, de modo que el software pueda sintetizar cualquier punto de vista dentro la esfera.

Este es el enfoque más robusto, pero también el menos práctico. Una esfera de dos metros de cámaras no es una buena cámara portátil, es una instalación y es costosa. Esto podría ser práctico para algunas producciones de Hollywood de alta gama, pero ciertamente no para la mayoría de las aplicaciones del mundo real. Puede ver un prototipo de esta idea a continuación, implementado en forma de una aplicación de teleconferencia 3D en vivo:

Reconstrucción de la escena

Otro enfoque, si el creador de video está grabando principalmente algunos objetos dinámicos contra un fondo estático, es usar una cámara de profundidad para mapear el entorno antes de que comiencen a filmar, y usar estos datos para rellenar huecos en las imágenes grabadas. Esto se puede hacer automáticamente usando una técnica llamada SLAM (ubicación y mapeo simultáneos), que combina automáticamente muchas imágenes de profundidad para crear un mapa 3D completo de una escena. Los resultados se parecen a esto:

Esto funciona bastante bien, pero no es apropiado para todas las situaciones. No es difícil imaginar intentar filmar una escena en un lugar público concurrido, donde gran parte del fondo consiste en personas que se mueven y se ocultan entre sí. Capturar una sola versión estática de esa escena para completar los agujeros simplemente no es posible. Además, para documentales, videos en vivo o noticias, no será práctico mapear exhaustivamente el entorno de antemano..

Solo inventando cosas

El último enfoque del problema es recurrir a la respuesta habitual en los casos en que no tiene suficientes datos: mentiras directas.

La idea aquí es que, en la vida real, el espectador no se levantará e intentará caminar por la escena. Se sentarán, y lo que el software realmente necesita corregir es pequeñas variaciones en la postura, causadas por la inclinación y el desplazamiento del espectador en su asiento; las disoclusiones simplemente no serán tan grandes. Eso significa que los datos utilizados para rellenar los agujeros no tienen que ser exactos, solo tienen que parecer plausibles. Aquellos de ustedes que han jugado con el relleno de imágenes de Photoshop (o sus competidores Snapheal para Mac: The Superhero Image Healer [Sorteo] Snapheal para Mac: The Superhero Image Healer [Sorteo] SnapHeal para Mac ($ 14.99) está aquí para guardar su fotografías, y hace un buen trabajo. Esta semana, estaremos regalando 25 copias de Snapheal para Mac por un valor total de $ 375. Si ...) sé a dónde va esto.

Como resultado, los investigadores han creado algunos algoritmos bastante buenos para rellenar huecos en las transmisiones de video en vivo en tiempo real. Puedes ver algunos ejemplos a continuación:

Imagine descomponer una imagen de profundidad en capas, restándolas una a la vez para ver dónde podrían aparecer sombras, y luego utilizando este tipo de algoritmos de pintura para generar imágenes plausibles para rellenar los agujeros.

Esto es un poco más difícil que la simple pintura en 2D, ya que el algoritmo también necesita crear valores de profundidad razonables para los agujeros, pero se pueden usar muchas de las mismas técnicas. Estos enfoques no funcionarán perfectamente en todas las situaciones, pero siempre que esos artefactos sean menos intrusivos que los grandes agujeros negros del mundo, eso todavía cuenta como una victoria..

Cuánto tiempo hasta que terminen?

Con las cámaras de realidad virtual, incluso más que otras cosas, lo perfecto es enemigo de lo bueno.

Incluso con la mejor tecnología que el dinero puede comprar y un metraje cuidadosamente planeado para minimizar los errores de oclusión, los resultados aún serían imperfectos. Los reflejos especulares, por ejemplo, son puntos de brillo que aparecen en superficies brillantes, que varían en posición según la posición de la cabeza, ya que dependen de que la luz se refleje en un ángulo muy específico..

Los reflejos especulares grabados incluso en el mejor video de realidad virtual aparecerán como puntos blancos en la superficie y no se verán bien en los objetos cercanos durante el movimiento de la cabeza. Esa es una limitación que será difícil de sortear. Además, completar los errores de oclusión en escenas complicadas con muchos objetos en movimiento es difícil; hacerlo perfectamente es imposible y lo será por mucho tiempo.

Pasarán años y tal vez incluso décadas antes de que las cámaras de realidad virtual puedan proporcionar una experiencia perfecta de la misma manera que la película 2D tradicional. Ese es el sacrificio que haces para experimentar un medio fundamentalmente más poderoso.

Con todo lo dicho, algunas cosas realmente geniales se avecinan en un futuro próximo. Cada opción mencionada en este artículo puede crear experiencias realmente valiosas. Anuncio de Samsung de “Proyecto más allá” es una señal prometedora de lo que vendrá.

El lanzamiento de Oculus Rift está programado para 2015, y las cifras de ventas en millones de unidades no parecen exageradas. Si la realidad virtual despega como parece, una gran cantidad de progreso tecnológico va a suceder, rápidamente.

La demanda de contenido hará que las cámaras de realidad virtual mejoren, sean más pequeñas y más baratas para satisfacer la demanda. Probablemente no pasarán muchos años antes de que un dispositivo que cueste menos que un teléfono nuevo y que quepa en la palma de tu mano proporcione una grabación de realidad virtual convincente y cómoda de cualquier cosa, y eso será muy, muy genial.

¿Qué harías con tu propia cámara VR? ¿Qué tipo de contenido te entusiasma más? Háganos saber en los comentarios!

Créditos de imagen: concepto de gafas a través de Shutterstock