La IA de Facebook transforma la música en todos los géneros e instrumentos

• El equipo de investigación de inteligencia artificial de Facebook crea una red universal de traducción de música. 
• Replica el audio que escucha y lo reproduce en varios estilos, géneros e instrumentos. 
• Puede procesar fuentes musicales no escuchadas, como aplausos o silbidos, y producir audio de alta calidad.

Cuando se trata de música, los humanos siempre han sido creativos al replicar canciones y convertirlas en otras formas aplaudiendo, silbando o tocándolas con diferentes instrumentos.

Aunque la música es una de las primeras áreas en ser digitalizada y procesada por máquinas informáticas y algoritmos, la inteligencia artificial actual sigue siendo muy inferior a los humanos a la hora de imitar audios.

Ahora el equipo de investigación de inteligencia artificial de Facebook ha desarrollado una red universal de traducción de música que puede convertir música de una forma a otra. Replica la música que escucha y la reproduce en diferentes estilos, géneros e instrumentos.

¿Cómo lo hicieron?

Este sistema de IA se basa en 2 últimas tecnologías

1. Sintetizar audio de alta calidad mediante modelos autorregresivos
2. Transformación entre dominios sin supervisión

Los modelos autorregresivos están entrenados como decodificadores y pueden producir audios realistas y de alta calidad. La segunda tecnología se encarga de hacer las cosas más prácticas, ya que gestionar problemas de aprendizaje en entornos supervisados requeriría un gran conjunto de datos de numerosos instrumentos musicales.

Los investigadores desarrollaron y aplicaron un codificador universal a cada entrada. Esto eliminó la carga de entrenar toda la red y permitió la conversión de dominios musicales no escuchados a cualquier otro dominio encontrado.

Arquitectura de red | La confusión de dominio se aplica solo durante el entrenamiento 

Entrenaron al codificador universal [a través de una red de confusión de dominios] mientras se aseguraban de que los datos específicos del dominio no estuvieran codificados. El codificador universal no memoriza los datos de entrada, sino que los codifica de forma semántica. Para ello, los investigadores distorsionaron la señal de entrada (formato de audio) mediante una modulación de tono local aleatoria.

Referencia: arXiv:1805.07848

Dado que la red está entrenada como un codificador automático con eliminación de ruido, es capaz de recuperar la forma no distorsionada de la señal de entrada original. El sistema aprende gradualmente a proyectar señales de entrada fuera del dominio al dominio de salida apropiado.

Los investigadores entrenaron su red en 6 tipos de dominios de música clásica, incluidos miles de muestras de esos dominios. Ejecutaron el marco de aprendizaje profundo PyTorch acelerado por cuDNN en 8 GPU NVIDIA Tesla V100. Les llevó 8 días entrenar completamente la red.

Resultados

La IA no es tan buena como la de los músicos profesionales, pero muchas veces a los oyentes les resulta difícil saber cuál es el audio original y cuál se genera artificialmente.

El sistema puede procesar eficazmente fuentes musicales no escuchadas, como aplausos o silbidos, y producir audio de calidad superior. Se pueden integrar nuevos instrumentos musicales sin tener que volver a entrenar toda la red.

Leer:Los robots de inteligencia artificial de Facebook se apagan:¿qué sucedió realmente?

Según los desarrolladores, su trabajo puede abrir nuevas puertas para otras tareas complejas, como la composición y transcripción automática de música. Además, se pueden hacer que los decodificadores sean más "creativos" disminuyendo el tamaño del espacio latente, lo que les permite generar salidas naturales interesantes en el sentido de que se pierde la asociación con el audio original.