La IA de Facebook Transforma Música entre Géneros e Instrumentos

• El equipo de investigación de IA de Facebook construye una red universal de traducción musical.
• Replica el audio que escucha y lo reproduce en varios estilos, géneros e instrumentos.
• Puede procesar fuentes musicales inéditas, como palmadas o silbidos, y producir audio de alta calidad.

Cuando se trata de música, los humanos siempre han sido creativos replicando canciones y transformándolas en varias otras formas aplaudiendo, silbando o tocándolas en diferentes instrumentos.

Aunque la música es una de las primeras áreas en ser digitalizada y procesada por máquinas computacionales y algoritmos, la inteligencia artificial de hoy sigue siendo muy inferior a los humanos en imitar audios.

Ahora el equipo de investigación de IA de Facebook ha desarrollado una red universal de traducción musical que puede convertir música de una forma a otra. Replica la música que escucha y la reproduce en diferentes estilos, géneros e instrumentos.

¿Cómo Lo Hicieron?

Este sistema de IA se basa en 2 tecnologías recientes

1. Síntesis de audio de alta calidad mediante modelos auto-regresivos
2. Transformación entre dominios de manera no supervisada

Los modelos auto-regresivos se entrenan como decodificadores y pueden producir audios realistas y de alta calidad. La 2ª tecnología es responsable de hacer las cosas más prácticas, ya que gestionar problemas de aprendizaje en entornos supervisados requeriría un gran conjunto de datos de numerosos instrumentos musicales.

Los investigadores desarrollaron y aplicaron un codificador universal a cada entrada. Esto eliminó la carga de entrenar la red completa, y permitió la conversión de dominios musicales no escuchados a cualquier otro dominio encontrado.

Arquitectura de la red | La confusión de dominio se aplica solo durante el entrenamiento

Entrenaron el codificador universal [a través de red de confusión de dominio] asegurando que los datos específicos del dominio no se codifiquen. El codificador universal no memoriza los datos de entrada, sino que los codifica de manera semántica. Para hacer esto, los investigadores distorsionaron la señal de entrada (formato de audio) mediante modulación aleatoria de tono local.

Referencia: arXiv:1805.07848

Dado que la red se entrena como auto-encoder desruidoso, es capaz de recuperar la forma sin distorsión de la señal de entrada original. El sistema aprende gradualmente a proyectar señales de entrada fuera de dominio al dominio de salida apropiado.

Los investigadores entrenaron su red en 6 tipos de dominio de música clásica, incluyendo miles de muestras de esos dominios. Ejecutaron el marco de aprendizaje profundo PyTorch acelerado por cuDNN en 8 GPUs NVIDIA Tesla V100. Les tomó 8 días entrenar completamente la red.



Resultados

La IA no es tan buena como músicos profesionales, pero varias veces, los oyentes encuentran difícil decir cuál es el audio original y cuál es generado artificialmente.

El sistema puede procesar efectivamente fuentes musicales inéditas, como palmadas o silbidos, y producir audio de calidad superior. Se pueden integrar nuevos instrumentos musicales sin tener que reentrenar la red completa.

Leer: Robots de IA de Facebook Apagados – ¿Qué Realmente Sucedió?

Según los desarrolladores, su trabajo puede abrir nuevas puertas para otras tareas complejas, como composición y transcripción automática de música. Además, se pueden hacer los decodificadores más "creativos" disminuyendo el tamaño del espacio latente, lo que les permite generar salidas naturales emocionantes en el sentido de que la asociación con el audio original se pierde.