Esta nueva tecnología de Intel Labs podría revolucionar los juegos de realidad virtual

0
417
Esta nueva tecnología de Intel Labs podría revolucionar los juegos de realidad virtual

Esta nueva tecnología de Intel Labs podría revolucionar los juegos de realidad virtual

Una nueva investigación de Intel Labs detalla una técnica llamada Free View Synthesis que podría cambiar por completo el panorama de los juegos

Si digo «buenos gráficos», probablemente imagines el último juego triple A con texturas de alta resolución y trazado de rayos. Si digo «fotorrealista», probablemente piense en algo similar, pero prestando especial atención a la similitud entre los gráficos y el mundo real. Sin embargo, una nueva investigación de Intel Labs nos muestra lo que es fotorrealista deberían significa, y tiene algunas aplicaciones emocionantes para el desarrollo de juegos, especialmente en realidad virtual.

Esta nueva técnica se llama Síntesis de vista libre. Le permite tomar algunas imágenes de origen de un entorno (de un video grabado mientras camina por un bosque, por ejemplo), y luego reconstruir y renderizar el entorno representado en estas imágenes en 3D ‘fotorrealista’ completo. Luego, puede hacer que una ‘vista de destino’ (es decir, una cámara virtual o una perspectiva como la del jugador en un videojuego) viaje a través de este entorno libremente, cediendo nuevo vistas fotorrealistas. Esta investigación se presentará en línea en ECCV 20 (del 23 al 28 de agosto), así que para saber más sobre ella, ¡asegúrese de sintonizarnos!

Las implicaciones (a largo plazo) de esta técnica para el desarrollo de juegos deberían ser obvias. En teoría, con imágenes de un lugar del mundo real para dibujar, debería poder producir automáticamente un entorno de videojuego transitable que no solo sea idéntico tanto en diseño como en contenido, sino también en mira. Diseño de niveles rápido y sin esfuerzo, comparable a la realidad en términos de fidelidad visual.

Hablamos con Vladen Koltun, científico jefe de sistemas inteligentes en Intel Labs, sobre esta nueva técnica. Tiene muchas aplicaciones, pero con respecto a los juegos específicamente, Vladen dice que “puede crear juegos que son indistinguibles de la realidad”.

Para obtener información detallada sobre cómo lo hace, puede leer el artículo de investigación completo de Free View Synthesis [PDF], pero esencialmente, el entorno que se toma de las imágenes de origen se reconstruye usando Structure From Motion (SfM) y Multi-View Stereo (MVS) para crear un mapa de profundidad proxy, luego la vista de destino tiene características reproyectadas y procesadas «a través de una red convolucional ”Para sintetizar la nueva vista. En resumen: tome la imagen de origen, cree un entorno de ‘mapa de profundidad’ a partir de estas imágenes y luego utilice una red convolucional para sintetizar una nueva vista en este entorno.

Miniatura de YouTube

«Hay algunos cálculos geométricos del tipo que encontraría en las tuberías de gráficos clásicos, y luego un paso a través de una red convolucional, como vería en la inferencia de red profunda estándar». Por lo tanto, tenemos el aprendizaje profundo en la tarea de crear vistas fotorrealistas en escenas realistas con solo un número limitado de imágenes de origen (tomadas libremente en el entorno) como referencia.

El video de arriba muestra otras técnicas que intentan hacer algo similar, incluida NPBG, una técnica «publicada contemporáneamente en la misma conferencia» que «surgió de forma independiente» de un laboratorio de investigación diferente y que tiene mucho en común con Free View Synthesis. Sin embargo, como puede ver en el video, Free View Synthesis logra resultados ligeramente mejores.

El uso de SfM y MVS es muy importante para Free View Synthesis, nos dice Vladen, y “muchas otras técnicas no usan SfM / MVS en la medida en que lo hacemos nosotros”. Los investigadores piensan que “sería un desperdicio simplemente dejar de lado todo el progreso asombroso que se ha hecho (y se sigue haciendo) en SfM / MVS. Más bien, deberíamos construir sobre eso. El alto nivel de fidelidad alcanzado por nuestro enfoque se debe, en gran parte, a treinta años de progreso en SfM / MVS ”.

Intel Free View Synthesis 3D fotorrealista

Imagen tomada del video de arriba, que muestra una vista del entorno generada por Free View Synthesis.

En teoría, al usar Free View Synthesis, un desarrollador de juegos podría grabar un video paseando por un parque desierto local, lanzar imágenes de este video al canal de Free View Synthesis y ser capaz de mover una cámara virtual a través de una pantalla realista. , reconstrucción fotorrealista en 3D del parque, tomando cualquier ruta de movimiento que así lo deseen. Extrapole de esto las implicaciones para los juegos, y tendrá una técnica que podría permitir la creación fácil y rápida de entornos de realidad virtual fotorrealistas en los que el jugador puede caminar. Y aunque la «implementación actual no está optimizada para el rendimiento en tiempo real … ningún obstáculo fundamental para hacer esto en tiempo real ”.

Se necesita la capacidad de gráficos de aprendizaje profundo para Free View Synthesis, pero esto no debería ser un problema considerando que las últimas GPU de Nvidia tienen dicha capacidad (para DLSS, por ejemplo), y AMD pronto debería seguir su ejemplo. Pero el verdadero desafío a abordar, al menos para los juegos, es la creación de nuevos elementos sintéticos en las escenas. Es muy divertido poder caminar por un parque fotorrealista, pero para hacer un juego necesitas poder interactuar con el entorno, o al menos introducir otros elementos en él (como pistolas para un juego de FPS, por ejemplo).

Camión fotorrealista Intel Free View Synthesis

Imagen tomada del video de arriba, que muestra una vista del entorno generada por Free View Synthesis.

Cómo la técnica podría hacer frente a algo así, dice Vladen, «es una cuestión de investigación abierta». En otras palabras, aún no se ha respondido, lo que no quiere decir que no lo será. “En su forma actual, el enfoque solo maneja escenas estáticas. Le permite mover libremente su punto de vista a través de una escena estática mientras conserva una apariencia fotográfica. Con el tiempo, estas técnicas se extenderán a escenas dinámicas, con objetos en movimiento, pero todavía no hemos llegado a ese punto. Este es un tema de investigación activo «.

Esta es probablemente la razón por la que la técnica «no estará disponible de inmediato» para los juegos, «ni siquiera en los próximos años, pero eventualmente». Pero es una mirada encantadora a lo que probablemente vendrá.

Ya tenemos algunos de los mejores cascos de realidad virtual trabajando para sumergirlo por completo en un mundo de juegos, y algunas de las mejores tarjetas gráficas que utilizan inteligencia artificial y aprendizaje profundo para crear de manera eficiente entornos de juego de alta fidelidad. Las técnicas de renderizado como Free View Synthesis, cuando se combinan con estos avances de hardware, nos brindan la promesa de grandes avances tecnológicos para los juegos, y eso es algo que creo que todos podemos respaldar.

{«schema»: {«page»: {«content»: {«headline»: «Esta nueva tecnología de Intel Labs podría revolucionar los juegos de realidad virtual», «type»: «hardware», «category»: «intel»}, «usuario»: {«loginstatus»: false}, «juego»: {«editor»: «», «género»: «», «título»: «Intel», «géneros»:[]}}}}