La IA de Google Logra Rastreo de Objetos mediante Colorización de Video – Un Enfoque Auto-supervisado

• Una nueva red convolucional aprende a copiar colores de un fotograma de referencia a los fotogramas subsiguientes.
• Mientras lo hace, puede seguir diferentes objetos y rastrearlos a través de oclusiones.
• También puede rastrear poses humanas.

Enseñar a las máquinas a rastrear objetos en un video es una de las tareas más difíciles en visión por computadora, principalmente porque requiere un enorme conjunto de datos de entrenamiento etiquetado para el rastreo. Por supuesto, grabar y etiquetar todo lo que ocurre en la Tierra sería impráctico.

Por eso es necesario construir un sistema que aprenda a rastrear sin supervisión humana, en lugar de utilizar una enorme cantidad de clips sin etiquetar. ¿Por qué importa tanto, te preguntarás? Bueno, rastrear objetos en videos podría ser útil para numerosas aplicaciones, como interacción de objetos, reconocimiento de actividad, estilización de video y mucho más.

Ahora, investigadores de Google han desarrollado una red convolucional que aprende a copiar colores de un único fotograma de referencia. En lugar de intentar estimar colores directamente desde un fotograma en escala de grises, el modelo está restringido a usar los colores del primer fotograma de referencia del video.

Para copiar los colores correctos, la red necesita aprender cómo apuntar internamente a la región correcta. Este nuevo modelo puede seguir diferentes objetos y rastrear a través de oclusiones sin tener que ser entrenado en grandes conjuntos de datos etiquetados.

Re-colorización de Videos

Para desarrollar este sistema de inteligencia artificial, los investigadores han aprovechado la coherencia temporal del color, que ofrece una enorme cantidad de datos de entrenamiento para enseñar a la red convolucional a rastrear porciones específicas en el video. Hay algunos casos excepcionales cuando el color no es temporalmente coherente, por ejemplo, encender luces instantáneamente. Sin embargo, en general los colores permanecen estables en el tiempo.

Colores predichos a partir de un único fotograma de referencia colorizado | Crédito: Google

Primero, el video se descolorece y luego la red realiza pasos de colorización porque una escena podría contener diferentes objetos del mismo color. Al hacer esto, la máquina puede aprender cómo rastrear regiones u objetos particulares.

Entrenamiento

Los investigadores utilizaron el conjunto de datos Kinetics (contiene medio millón de clips de video que representan actividades diarias) para entrenar su modelo. Convirtieron todos los fotogramas de video, excepto el primero, en escala de grises y entrenaron la red para estimar los colores correctos en los fotogramas siguientes.

Para copiar los colores originales de un solo fotograma, la red convolucional aprendió a apuntar internamente a los colores correctos. Esto forzó a la red a seguir un mecanismo explícito, que puede usarse para el rastreo de objetos.

La red rastrea objetos sin supervisión | Crédito: Google

A pesar de que el modelo no está entrenado en identidades sólidas, aprende a rastrear cualquier objeto o porción visual en el video usando solo un único fotograma (el primero). Puede rastrear un solo punto o entidad delineada en el video.

Referencia: arXiv:1806.09594 | Google AI Blog

Para rastrear objetos a partir de la colorización de video, los investigadores hicieron solo un cambio: propagar etiquetas que representan regiones objetivo, en lugar de propagar colores a lo largo del clip.

Rastreo de Poses

Rastreo de movimientos del esqueleto humano | Crédito: Google

La red también es capaz de rastrear poses humanas: Requiere un fotograma inicial etiquetado con puntos clave y hace el resto del trabajo. Sin embargo, predecir puntos clave en los fotogramas siguientes no es tan fácil como suena, porque se necesita una localización de gran detalle de cada punto clave cuando las personas en el video sufren deformaciones.

Los investigadores demostraron la función de rastreo de poses de la red en el conjunto de datos JHMDB (un conjunto de datos totalmente anotado para poses y acciones humanas) donde rastrearon un esqueleto de articulaciones humanas.

La red obtiene un rendimiento similar al flujo óptico, lo que indica que podría estar aprendiendo algunas características de movimiento. Aprende a rastrear poses humanas y segmentos de video lo suficientemente bien como para superar ligeramente las últimas técnicas basadas en flujo óptico.

Leer: La IA de Google Puede Crear Clips de Video Cortos a Partir de Dos Imágenes Estáticas

El modelo no es perfecto aún. En algunos experimentos, falló al colorizar videos y rastrear segmentos. Por lo tanto, los investigadores planean mejorar aún más el proceso de colorización de video, lo que finalmente podría traducirse en un rastreo auto-supervisado mejorado.