NVIDIA desarrolla IA que crea gráficos interactivos del mundo real

• Los investigadores demuestran un nuevo tipo de síntesis de video a video.
• Permite a los desarrolladores renderizar entornos 3D totalmente interactivos a partir de videos del mundo real.
• Puede crear videos de 30 segundos de duración con una resolución de 2K.

Hace casi dos décadas, NVIDIA creó la primera GPU del mundo, que ofrecía un salto significativamente grande en el rendimiento de los juegos en 3D. Ahora, han introducido una herramienta de inteligencia artificial que permite a los desarrolladores renderizar entornos tridimensionales interactivos totalmente sintéticos a partir de videos del mundo real.

La capacidad de modelar y recrear dinámicas del mundo real es crucial para desarrollar agentes inteligentes. Sintetizar experiencias visuales continuas tiene una variedad de aplicaciones en gráficos por computadora y robótica. Podría ayudar a los desarrolladores a crear escenas realistas sin especificar la iluminación, los materiales y la geometría de la escena.

En este trabajo, los investigadores han demostrado un nuevo tipo de síntesis de video a video. El objetivo es aprender una función de mapeo que pueda transformar eficientemente un video de entrada en un video de salida. Han sintetizado videos de alta resolución, temporalmente consistentes usando generadores y discriminadores, y aprendizaje adversarial espacio-temporal.

Uso de redes neuronales para representar descripciones de alto nivel

Para renderizar el mundo sintético tridimensional en tiempo real, comenzaron con una red neuronal generativa condicional y la entrenaron en videos existentes. Las redes aprendieron gradualmente a renderizar objetos como vehículos, edificios y árboles.

Con la tecnología existente, los desarrolladores deben modelar cada objeto individualmente, lo que es un proceso costoso y que requiere mucho tiempo. Por otro lado, la nueva herramienta se basa en un modelo que aprende automáticamente del video real y crea mundos virtuales para automoción, juegos, robótica, arquitectura y realidad virtual.

Referencia:arXiv:1808.06601 | NVIDIA | GitHub

Puede crear entornos interactivos basados ​​en ubicaciones reales o puede mostrar personas bailando como sus estrellas de rock favoritas. La red funciona con descripciones de alto nivel de una escena 3D, como mapas de bordes que describen la ubicación de los objetos y sus atributos generales, como si una determinada parte de una imagen consiste en un edificio o un automóvil. Luego, usa escenas del mundo real para completar los detalles.

Las redes neuronales se entrenaron en videos de áreas urbanas reales. Los investigadores crearon una demostración que permite a las personas navegar por un mundo urbano virtual representado por las redes. Dado que las escenas se crean sintéticamente, es fácil editar, agregar o modificar objetos en la escena virtual.

Cortesía de investigadores

La demostración se ejecuta en las GPU NVIDIA Tensor Core y proporciona una experiencia completamente nueva de gráficos interactivos, según el informe. Las redes neuronales se entrenan en DGX-1 junto con la biblioteca CUDA Deep Neural Network, utilizando GPU NVIDIA Tesla V100. El equipo seleccionó varios miles de clips de los conjuntos de datos Cityscapes y Apolloscapes para entrenar las redes.

Prueba

Llevaron a cabo múltiples pruebas y obtuvieron resultados tanto cuantitativos como cualitativos, que muestran que las escenas sintetizadas parecen más realistas que las generadas por los métodos de vanguardia existentes.

Esta nueva IA puede producir videos de 30 segundos de duración con una resolución de 2K. Además, proporciona un control de alto nivel sobre la salida. Por ejemplo, on puede agregar o reemplazar fácilmente árboles con edificios en la escena.

El enfoque no es perfecto y falla en varios escenarios, como renderizar un vehículo que gira debido a datos de mapas insuficientes. Sin embargo, esto podría solucionarse integrando señales 3D como mapas de profundidad.

Leer:Google AI puede rastrear objetos coloreando videos

Aunque el estudio se encuentra en una etapa inicial, las aplicaciones de esta técnica podrían hacer que sea mucho más fácil y económico desarrollar entornos virtuales para una variedad de dominios.