La IA en tiempo real colorea instantáneamente vídeos en blanco y negro con una precisión inigualable

• El nuevo algoritmo de aprendizaje profundo permite a los editores colorear rápidamente un vídeo completo coloreando un fotograma de la escena. 
• Es muy preciso, eficiente y hasta 50 veces más rápido que los métodos anteriores. 

Los vídeos se componen de una gran cantidad de datos redundantes entre fotogramas y se necesita una gran cantidad de tiempo para colorear manualmente cada fotograma en blanco y negro. Estos tipos de redundancias se han examinado exhaustivamente en la codificación y compresión de vídeo, pero se han explorado menos en el procesamiento de vídeo avanzado, como colorear un clip.

Existen numerosos algoritmos (como el modelo CNN bilateral, el filtrado guiado por similitud y la deformación basada en flujo óptico) que procesan las relaciones locales entre fotogramas consecutivos para propagar datos. Utilizan movimiento aparente o funciones prediseñadas a nivel de píxeles para modelar las similitudes entre fotogramas y píxeles.

Sin embargo, estos algoritmos tienen varias limitaciones, por ejemplo, no pueden expresar las relaciones de alto nivel entre fotogramas y no pueden reflejar con precisión la estructura de la imagen. Para superar estas limitaciones, los investigadores de NVIDIA han desarrollado un nuevo algoritmo basado en un método de aprendizaje profundo que permite a los editores colorear rápidamente un clip completo coloreando un solo fotograma de la escena.

¿Cómo funciona?

Para conocer explícitamente la similitud de alto nivel entre fotogramas consecutivos, los investigadores han desarrollado una red de propagación temporal que consta de un componente de propagación para transferir las características (como el color) de un fotograma a otro. Para ello, utiliza una matriz de transformación lineal impulsada por una red neuronal convolucional (CNN).

La CNN decide qué colores deben transferirse del cuadro coloreado y los completa en los cuadros blancos y negros restantes. ¿En qué se diferencia esta técnica de otras? Bueno, se puede obtener una mejor coloración a través de un enfoque interactivo en el que el editor anota una parte de una imagen, lo que da como resultado un producto terminado.

Para la propagación del aprendizaje en el dominio temporal, los investigadores aplicaron dos reglas. Primero, la propagación entre tramas debe ser invertible. En segundo lugar, el elemento objetivo debe preservarse durante todo el proceso.

Demostraron que la técnica propuesta no requiere ningún método de segmentación basado en imágenes para lograr resultados decentes comparables a las metodologías más avanzadas existentes.

Referencia: arXiv:1804.08758 | NVIDIA

Para entrenar esta red, los investigadores utilizaron GPU NVIDIA Titan XP. Está entrenado en cientos de clips de varios conjuntos de datos para un alto rango dinámico, color y propagación de máscaras. La red está configurada en el conjunto de datos ACT que contiene 7260 secuencias de vídeo con aproximadamente 600 000 fotogramas.

Ventajas de la técnica propuesta

1. Alta precisión: El nuevo método logra una calidad de vídeo mucho mejor en comparación con trabajos anteriores.
2. Alta eficiencia: Se ejecuta en tiempo real, lo que es hasta 50 veces más rápido que los métodos anteriores. Mejora aún más la eficiencia al procesar todos los fotogramas de vídeo en paralelo.

Leer:Nvidia AI puede convertir vídeos de 30 fps a 240 fps

La técnica actual ofrece una forma sencilla de propagar datos a lo largo del tiempo en clips. En los próximos años, los investigadores intentarán descubrir cómo incorporar señales visuales de alto nivel como el rastreo, la semántica y la segmentación para la propagación temporal.