NVIDIA presenta IA que genera entornos 3D interactivos a partir de vídeo real

• Investigadores demuestran un nuevo tipo de síntesis vídeo-a-vídeo.
• Permite a desarrolladores renderizar entornos 3D totalmente interactivos a partir de vídeos del mundo real.
• Puede crear vídeos de 30 segundos a resolución 2K.

Hace casi dos décadas, NVIDIA lanzó la primera GPU del mundo, ofreciendo un salto significativamente grande en rendimiento de juegos 3D. Ahora, han presentado una herramienta de inteligencia artificial que permite a desarrolladores renderizar entornos tridimensionales sintéticos totalmente interactivos a partir de vídeos del mundo real.

La capacidad de modelar y recrear dinámicas del mundo real es crucial para desarrollar agentes inteligentes. La síntesis de experiencias visuales continuas tiene diversas aplicaciones en gráficos por computadora y robótica. Podría ayudar a desarrolladores a crear escenas realistas sin especificar iluminación, materiales y geometría de la escena.

En este trabajo, los investigadores han demostrado un nuevo tipo de síntesis vídeo-a-vídeo. El objetivo es aprender una función de mapeo que pueda transformar eficientemente un vídeo de entrada en un vídeo de salida. Han sintetizado vídeos de alta resolución, temporalmente consistentes, usando generadores y discriminadores, y aprendizaje adversarial espaciotemporal.

Uso de redes neuronales para renderizar descripciones de alto nivel

Para renderizar el mundo tridimensional sintético en tiempo real, comenzaron con una red neuronal generativa condicional y la entrenaron con vídeos existentes. Las redes aprendieron gradualmente a renderizar objetos como vehículos, edificios y árboles.

Con la tecnología existente, los desarrolladores necesitan modelar cada objeto individualmente, lo que es un proceso que consume mucho tiempo y es costoso. Por otro lado, la nueva herramienta se basa en un modelo que aprende automáticamente de vídeo real y crea mundos virtuales para automoción, juegos, robótica, arquitectura y realidad virtual.

Referencia: arXiv:1808.06601 | NVIDIA | GitHub

Puede crear entornos interactivos basados en ubicaciones reales, o mostrar personas bailando como sus estrellas de rock favoritas. La red trabaja con descripciones de alto nivel de una escena 3D, como mapas de bordes que describen ubicaciones de objetos y sus atributos generales (si una parte de la imagen es un edificio o un coche). Luego, usa escenas del mundo real para rellenar los detalles.

Las redes neuronales se entrenaron con vídeos de áreas urbanas reales. Los investigadores crearon una demo que permite a las personas navegar por un mundo urbano virtual renderizado por las redes. Como las escenas se crean sintéticamente, es fácil editar, añadir o modificar objetos en la escena virtual.

Cortesía de los investigadores

La demo se ejecuta en GPUs Tensor Core de NVIDIA y proporciona una experiencia totalmente nueva de gráficos interactivos, según el informe. Las redes neuronales se entrenaron en DGX-1 junto con la biblioteca CUDA Deep Neural Network, usando GPUs NVIDIA Tesla V100. El equipo seleccionó varios miles de clips de los conjuntos de datos Cityscapes y Apolloscapes para entrenar las redes.

Pruebas

Realizaron múltiples pruebas y obtuvieron resultados tanto cuantitativos como cualitativos, que muestran que las escenas sintetizadas se ven más realistas que las generadas por métodos de vanguardia existentes.

Esta nueva IA puede producir vídeos de 30 segundos de duración a resolución 2K. También proporciona control de alto nivel sobre la salida. Por ejemplo, se puede añadir o reemplazar fácilmente árboles por edificios en la escena.

El enfoque no es perfecto y falla en varios escenarios, como renderizar vehículos girando debido a datos de mapa insuficientes. Sin embargo, esto podría corregirse integrando pistas 3D como mapas de profundidad.

Lea también: La IA de Google puede rastrear objetos coloreando vídeos

Aunque el estudio está en fase temprana, las aplicaciones de esta técnica podrían facilitar y abaratar mucho el desarrollo de entornos virtuales para una variedad de dominios.