IA en tiempo real colorea videos en blanco y negro con precisión inigualable

• Nuevo algoritmo de deep learning permite a editores colorear rápidamente un video completo coloreando solo un fotograma en la escena.
• Es altamente preciso, eficiente y hasta 50 veces más rápido que métodos anteriores.

Los videos comprenden gran cantidad de datos redundantes entre fotogramas y lleva una vasta cantidad de tiempo colorear manualmente cada fotograma en blanco y negro. Este tipo de redundancias han sido examinadas extensamente en codificación y compresión de video, pero menos exploradas en procesamiento avanzado de video como colorear un clip.

Existen numerosos algoritmos (como modelo CNN bilateral, filtrado guiado por similitud, deformación basada en flujo óptico) que procesan relaciones locales entre fotogramas consecutivos para propagar datos. O bien usan movimiento aparente o características a nivel de píxel pre-diseñadas para modelar similitudes entre fotogramas y píxeles.

Sin embargo, estos algoritmos tienen varias limitaciones; por ejemplo, no pueden expresar relaciones de alto nivel entre fotogramas y no pueden reflejar con precisión la estructura de la imagen. Para superar estas limitaciones, investigadores de NVIDIA han desarrollado un nuevo algoritmo basado en método de deep learning que permite a editores colorear rápidamente un clip completo coloreando un solo fotograma en la escena.

¿Cómo Funciona?

Para aprender explícitamente similitud de alto nivel entre fotogramas consecutivos, investigadores han desarrollado una red de propagación temporal que consiste en un componente de propagación para transferir características (como color) de un fotograma a otro. Para hacer esto, usa una matriz de transformación lineal impulsada por una red neuronal convolucional (CNN).

La CNN decide qué colores deben transferirse del fotograma coloreado y los rellena en los fotogramas restantes en blanco y negro. ¿En qué se diferencia esta técnica de otras? Bueno, mejor coloreado puede obtenerse mediante un enfoque interactivo en el que el editor anota una porción de una imagen, resultando en un producto terminado.

Para aprender propagación en el dominio temporal, investigadores impusieron 2 reglas. Primero, la propagación entre fotogramas debe ser invertible. Segundo, el elemento objetivo debe preservarse durante todo el proceso.

Demostraron que la técnica propuesta no requiere ningún método de segmentación basado en imagen para lograr resultados decentes comparables a metodologías existentes de vanguardia.

Referencia: arXiv:1804.08758 | NVIDIA

Para entrenar esta red, investigadores usaron GPUs NVIDIA Titan XP. Está entrenada en cientos de clips de varios conjuntos de datos para propagación de alto rango dinámico, color y máscara. La red está configurada en el dataset ACT empaquetado con 7,260 secuencias de video con aproximadamente 600,000 fotogramas.

Ventajas de la Técnica Propuesta

1. Alta Precisión: El nuevo método logra calidad de video mucho mejor comparado a trabajos previos.
2. Alta Eficiencia: Se ejecuta en tiempo real, lo que es hasta 50 veces más rápido que métodos previos. Mejora aún más la eficiencia procesando todos los fotogramas de video en paralelo.

Lea: IA de Nvidia Puede Convertir Videos de 30fps a 240fps

La técnica actual ofrece una forma simple de propagar datos a lo largo del tiempo en clips. En los próximos años, investigadores intentarán averiguar cómo incorporar señales de visión de alto nivel como rastreo, semántica, segmentación, para propagación temporal.