La IA ahora puede componer movimientos de baile realistas y diversos

• Los investigadores entrenan un modelo de aprendizaje profundo para generar nuevos pasos de baile que sean realistas, diversos y de estilo consistente.
• Puede ayudar y expandir la creación de contenido en varias áreas, como la gimnasia rítmica y la representación teatral.

A medida que los científicos acercan gradualmente las computadoras a niveles humanos de inteligencia, han comenzado a abordar algunos esfuerzos muy humanos. Ciertamente hemos llegado a un punto en el que la inteligencia artificial podría ayudar a los coreógrafos a mezclar las cosas sugiriendo miles de estilos diferentes.

Recientemente, investigadores de la Universidad de California desarrollaron un modelo de aprendizaje profundo para generar nuevos pasos de baile que sean realistas, diversos y de estilo consistente. Contiene un marco de aprendizaje de síntesis por análisis para generar bailes que combinan ritmos a partir de la música.

Construir un marco de música a danza es una tarea desafiante, pero puede ayudar y expandir la creación de contenido en varias áreas, como el patinaje artístico, la gimnasia rítmica y la representación teatral.

El núcleo del coreógrafo de IA

Para sintetizar la danza a partir de la música, los investigadores desarrollaron un marco de descomposición a composición, que primero aprende cómo moverse (en la fase de descomposición) y luego cómo organizar los movimientos básicos en una secuencia (en la fase de composición).

En la primera fase, extrajeron ritmos de movimiento de una secuencia de baile, utilizando un detector de ritmo cinemático. Luego, cada secuencia de baile se normaliza temporalmente en una serie de unidades de baile. Las unidades de danza individuales se desenredaron en poses y movimientos iniciales.

Referencia:arXiv:1911.02001 | GitHub

En la segunda fase, los investigadores propusieron un modelo de música a movimiento para crear una secuencia de movimientos que coincida con la música de entrada. En el tiempo de ejecución, extrajeron la información de ritmo y estilo, y luego produjeron secuencialmente una serie de unidades de baile de acuerdo con el estilo musical. Finalmente, deformaron las unidades de baile mediante ritmos de audio extraídos.

Para capacitar a la red, el equipo recopiló más de 360.000 videoclips por un total de 71 horas. Estos videos incluían tres categorías de baile:Hip-Hop, Zumba y Ballet.

Para procesar diferentes poses, utilizaron OpenPose, un sistema de varias personas en tiempo real para detectar conjuntamente los puntos clave del cuerpo humano, la cara, la mano y el pie en imágenes individuales. Y para la evaluación del desempeño, utilizaron diferentes métricas para examinar la coherencia del estilo, el realismo, la diversidad y la coincidencia de ritmos.

Asignación de bailes generados a videos fotorrealistas | Cortesía de investigadores

Los investigadores también sintetizaron secuencias de poses en videos fotorrealistas para visualizar mejor los resultados. El conjunto de datos emparejados de danza y música a gran escala junto con el código fuente está disponible en GitHub.

Leer:AI puede predecir la asistencia de la audiencia analizando el avance de una película

La red de adversarios generativos se entrena utilizando el marco de aprendizaje profundo de PyTorch en las GPU NVIDIA V100. En un futuro cercano, los investigadores agregarán más estilos de baile (como el baile en pareja) para mejorar aún más el sistema.