IA Transforma Bailarines Aficionados en Profesionales con Transferencia de Movimiento por Deep Learning

• Un sistema revolucionario de deep learning puede replicar la coreografía de estrellas de baile en cualquier metraje de video.
• Requiere solo entrada de video ordinario —sin costosos rigs 3D o trajes de captura de movimiento— para producir resultados de calidad de estudio.

La Inteligencia Artificial está transformando industrias desde electrónica de consumo a exploración espacial, y esta última innovación muestra su poder transformador en las artes. Investigadores de la Universidad de California han desarrollado un algoritmo de transferencia de movimiento que mapea los movimientos de un bailarín fuente sobre un intérprete objetivo, haciendo que incluso un participante casual parezca una bailarina experimentada o icono pop.

La idea central es sencilla: «Haz como yo hago». En cuestión de minutos, el sistema puede superponer movimientos profesionales de baile sobre un sujeto objetivo, abriendo nuevas posibilidades creativas para intérpretes, educadores y creadores de contenido.

Cómo Funciona la Tecnología

El proceso comienza extrayendo esqueletos de pose basados en keypoints de ambos videos, fuente y objetivo. Estas figuras de palo de pose proporcionan una representación ligera e invariante a apariencia de posición corporal, permitiendo al modelo enfocarse solo en movimiento.

La pose de cada frame se genera por un algoritmo de estimación de pose supervisado, produciendo figuras de palo precisas. El modelo de transferencia de movimiento ingiere estos esqueletos, generando imágenes objetivo que imitan la pose de la fuente preservando la apariencia del objetivo. La salida final se refina fusionando el módulo de transferencia de pose con una red generadora de refinamiento, entregando frames más nítidos y realistas.

El flujo de trabajo se divide en tres etapas:

1. Detección de pose – extraer keypoints 2D de ambos metrajes, fuente y objetivo.
2. Normalización global de pose – alinear esqueletos entre sujetos.
3. Mapeo de pose – sintetizar frames objetivo que coincidan con pose fuente.

Para asegurar suavidad temporal, el algoritmo combina la pose del frame actual con el frame generado previamente, reduciendo drásticamente el temblor. Para entradas de baja tasa de frames, se aplica filtro mediano; para videos de alta tasa (hasta 120 fps), se usa suavizado gaussiano de keypoints.

Resultados de alta fidelidad se logran integrando Redes Generativas Adversarias Condicionales (cGANs) entrenadas en más de 20 minutos de metraje de baile aficionado de alta tasa de frames por sujeto. La arquitectura pix2pixHD, desarrollada por NVIDIA, sirve como columna vertebral del pipeline de traducción de imagen.

Referencia: arXiv:1808.07371

Entrenamiento e inferencia se realizaron en GPUs NVIDIA GeForce GTX 1080 Ti y TITAN Xp usando PyTorch con aceleración CUDA.

Direcciones Futuras

El algoritmo soporta actualmente transferencia de movimiento entre amplia variedad de sujetos sin necesidad de hardware especializado. Sin embargo, temblor ocasional permanece, especialmente cuando la velocidad de movimiento de la fuente excede el rango visto durante entrenamiento. Investigación en curso se enfoca en optimizar métodos de estimación de pose y expandir repertorio de movimiento para mitigar estos artefactos.

Para avances relacionados, ver: NVIDIA IA Puede Convertir Videos 30fps a 240fps