Google presenta IA que genera vídeos completos desde fotogramas inicial y final

La nueva red neuronal convolucional 3D puede rellenar las secuencias entre el fotograma inicial y final.

Usa un generador de representación latente para producir una variedad de secuencias de vídeo.

Modelo totalmente convolucional

En una red convolucional, es bastante fácil imponer consistencia temporal con los fotogramas inicial y final (proporcionados como entradas). El modelo tiene 3 componentes clave:

1. Un codificador de imagen convolucional 2D para mapear fotogramas clave de entrada a un espacio latente.
2. Un generador de representación latente convolucional 3D para incorporar los datos de los fotogramas de entrada con resolución temporal progresivamente creciente.
3. Un generador de vídeo para decodificar la representación latente en fotogramas de vídeo.

Referencia: arXiv:1905.10240 | NVIDIA

El equipo intentó crear el vídeo directamente desde las representaciones codificadas de los fotogramas inicial y final, pero los resultados no fueron satisfactorios. Por eso diseñaron el generador de representaciones latentes, que fusiona estocásticamente las representaciones de fotogramas clave y aumenta steadily la resolución temporal del vídeo final.

Pruebas

El equipo probó su modelo en varios conjuntos de datos públicos, incluyendo UCF101 Action Recognition, BAIR y KTH Action Database.

Ejemplos de fotogramas creados por el nuevo modelo | Cortesía de los investigadores

Los resultados finales: cada muestra del conjunto contenía 16 fotogramas totales, de los cuales 14 fueron generados por redes neuronales convolucionales. El modelo se ejecutó más de cien veces para cada par de fotogramas clave, y todo el proceso se repitió 10x para cada variante del modelo.

En todos los casos, el modelo creó secuencias de vídeo realistas, dado que los fotogramas clave están a unos 1/2 segundo de distancia. Además, los investigadores mostraron que es posible crear una variedad de secuencias simplemente alterando el vector de ruido de entrada que impulsa el proceso generativo. Este nuevo método puede proporcionar una valiosa perspectiva alternativa para futuros estudios sobre creación de vídeo.