IA genera movimientos de baile realistas y diversos para revolucionar la coreografía

Los investigadores entrenan un modelo de aprendizaje profundo para generar nuevos pasos de baile que son realistas, diversos y consistentes en estilo. Puede asistir y expandir la creación de contenido en varias áreas, como gimnasia rítmica y actuación teatral.

El núcleo del coreógrafo IA

Para sintetizar baile a partir de música, los investigadores desarrollaron un marco de descomposición-a-composición, que primero aprende cómo moverse (en fase de descomposición) y luego cómo organizar movimientos básicos en una secuencia (en fase de composición).

En la primera fase, extrajeron latidos de movimiento de una secuencia de baile, usando un detector de latidos kinemático. Cada secuencia de baile se normaliza temporalmente en una serie de unidades de baile. Las unidades de baile individuales se desenredaron en poses iniciales y movimientos.

En la segunda fase, los investigadores propusieron un modelo música-a-movimiento para crear una secuencia de movimientos que coincidan con la música de entrada. En tiempo de ejecución, extrajeron la información de latido y estilo, y luego produjeron secuencialmente una serie de unidades de baile según el estilo musical. Finalmente, deformaron las unidades de baile por los latidos de audio extraídos.

Para entrenar la red, el equipo recopiló más de 360.000 clips de video totalizando 71 horas. Estos videos incluían tres categorías de baile: Hip-Hop, Zumba y Ballet.

Para procesar diferentes poses, usaron OpenPose, un sistema multi-persona en tiempo real para detectar conjuntamente el cuerpo humano, facial, manos y puntos clave de pies en imágenes individuales. Y para evaluación de rendimiento, usaron diferentes métricas para examinar consistencia de estilo, realismo, diversidad y coincidencia de latidos.

Mapeo de bailes generados a videos foto-realistas | Cortesía de investigadores

Los investigadores también sintetizaron secuencias de poses a videos foto-realistas para visualizar mejor los resultados. El gran conjunto de datos emparejado de baile y música junto con el código fuente está disponible en GitHub.

La red generativa adversaria se entrena usando el framework de aprendizaje profundo PyTorch en GPUs NVIDIA V100. En el futuro cercano, los investigadores añadirán más estilos de baile (como baile en pareja) para hacer el sistema aún mejor.