La IA transforma a bailarines aficionados en profesionales con transferencia de movimiento de aprendizaje profundo

• Un innovador sistema de aprendizaje profundo puede replicar la coreografía de las principales estrellas del baile en cualquier secuencia de vídeo.
• Solo requiere una entrada de vídeo normal (no se necesitan costosos equipos 3D ni trajes de captura de movimiento) para producir resultados con calidad de estudio.

La Inteligencia Artificial está remodelando industrias que van desde la electrónica de consumo hasta la exploración espacial, y esta última innovación muestra su poder transformador en las artes. Investigadores de la Universidad de California han desarrollado un algoritmo de transferencia de movimiento que mapea los movimientos de un bailarín fuente en un artista objetivo, haciendo que incluso un participante casual parezca una bailarina experimentada o un ícono pop.

La idea central es sencilla:"Haz lo que yo hago". En cuestión de minutos, el sistema puede superponer movimientos de danza profesional sobre un tema objetivo, abriendo nuevas posibilidades creativas para artistas, educadores y creadores de contenido.

Cómo funciona la tecnología

El proceso comienza extrayendo esqueletos de poses basados en puntos clave tanto del vídeo de origen como del de destino. Estas figuras de palitos con pose proporcionan una representación ligera e independiente de la apariencia de la posición del cuerpo, lo que permite al modelo centrarse únicamente en el movimiento.

La pose de cada fotograma se genera mediante un algoritmo supervisado de estimación de pose, lo que produce figuras de palitos precisas. Luego, el modelo de transferencia de movimiento ingiere estos esqueletos, generando imágenes del objetivo que imitan la pose de la fuente y al mismo tiempo preservan la apariencia del objetivo. El resultado final se refina fusionando el módulo de transferencia de pose con una red de refinamiento generativo, lo que genera encuadres más nítidos y realistas.

El flujo de trabajo se divide en tres etapas:

1. Detección de pose:extrae puntos clave 2D del metraje de origen y de destino.
2. Normalización global de la postura:alinea los esqueletos de todos los sujetos.
3. Mapeo de pose:sintetiza fotogramas de destino que coinciden con la pose de origen.

Para garantizar la suavidad temporal, el algoritmo combina la pose del fotograma actual con el fotograma generado previamente, lo que reduce drásticamente la inquietud. Para entradas con baja velocidad de fotogramas, se aplica un filtro de mediana; para vídeos de alta velocidad de fotogramas (hasta 120 fps), se utiliza el suavizado gaussiano de puntos clave.

Se logran resultados de alta fidelidad mediante la integración de redes adversas generativas condicionales (cGAN) entrenadas en más de 20 minutos de metraje de danza amateur de alta velocidad de fotogramas por sujeto. La arquitectura pix2pixHD, desarrollada por NVIDIA, sirve como columna vertebral del proceso de traducción de imágenes.

Referencia:arXiv:1808.07371

El entrenamiento y la inferencia se realizaron en las GPU NVIDIA GeForce GTX1080Ti y TITANXp utilizando PyTorch con aceleración CUDA.

Direcciones futuras

Actualmente, el algoritmo admite la transferencia de movimiento en una amplia variedad de sujetos sin necesidad de hardware especializado. Sin embargo, persiste la inquietud ocasional, especialmente cuando la velocidad de movimiento de la fuente excede el rango observado durante el entrenamiento. La investigación en curso se centra en optimizar los métodos de estimación de pose y ampliar el repertorio de movimientos para mitigar estos artefactos.

Para conocer avances relacionados, consulte:NVIDIA AI puede convertir vídeos de 30 fps a 240 fps