Facebook presenta MelNet: IA que replica cualquier voz con precisión asombrosa
El nuevo modelo de aprendizaje profundo llamado MelNet produce entonación humana con precisión asombrosa.
Una vez entrenado, puede regenerar la voz de cualquiera en pocos segundos.
Investigadores demuestran qué tan precisamente clona la voz de Bill Gates.
¿En qué se diferencia MelNet del habla artificial existente?
La mayoría de algoritmos de aprendizaje profundo se entrenan en grandes bases de datos de audio para regenerar patrones de habla real. El problema principal es el tipo de datos. Típicamente, estos algoritmos se entrenan en grabaciones de forma de onda de audio, que tienen estructuras complejas en escalas de tiempo drásticamente variables.
Estas grabaciones representan cómo varía la amplitud del sonido con el tiempo: un segundo de audio contiene decenas de miles de pasos temporales. Tales formas de onda reflejan patrones particulares en varias escalas.
Los modelos generativos existentes de formas de onda (como SampleRNN y WaveNet) solo pueden retropropagar a través de una fracción de segundo. Por tanto, no capturan la estructura de alto nivel que emerge en escala de varios segundos.
MelNet, en cambio, usa espectrogramas (en lugar de formas de onda de audio) para entrenar redes de aprendizaje profundo. Los espectrogramas son representaciones 2D tiempo-frecuencia que muestran todo el espectro de frecuencias de audio y cómo varían con el tiempo.
Patrones de espectrograma y forma de onda del mismo contenido de audio de 4 segundos
Mientras las formas de onda 1D en dominio temporal capturan el cambio en el tiempo de una variable (amplitud), los espectrogramas capturan el cambio en diferentes frecuencias. Así, la información de audio se empaqueta más densamente en espectrogramas.
Esto permite a MelNet producir muestras de habla y música incondicionales con consistencia sobre varios segundos. También es capaz de generación condicional de habla y síntesis texto-a-habla, completamente de extremo a extremo.
Referencia: arXiv:1906.01083 | GitHub
Para reducir pérdida de información y limitar sobre-suavizado, modelaron espectrogramas de alta resolución y usaron un modelo autoregresivo altamente expresivo, respectivamente.
Resultados impresionantes
Investigadores entrenaron MelNet con numerosas charlas TED, y luego pudo regenerar la voz del orador diciendo frases aleatorias en pocos segundos. Abajo hay dos ejemplos de MelNet usando la voz de Bill Gates para decir frases aleatorias.
Aunque MelNet crea clips de audio notablemente realistas, no puede generar frases más largas o párrafos. No obstante, el sistema podría mejorar la interacción computadora-humano.
Muchas conversaciones de atención al cliente involucran frases cortas. MelNet puede automatizar tales interacciones o reemplazar el sistema de voz automatizado actual para mejorar experiencia del llamante.
En nota negativa, la tecnología plantea el espectro de una nueva era de contenido de audio falso. Y como otros avances en IA, plantea más preguntas éticas de las que responde.
