La Nueva IA de Google Identifica Voces Individuales en Entornos Abarrotados

• Google desarrolla una nueva IA que puede enfocarse en una voz particular en un área abarrotada.
• Usa una combinación de señales visuales y auditivas para separar las voces.
• La tecnología también tiene potencial para proporcionar mejor sistema de subtítulos de video para hablantes superpuestos, pre-procesando reconocimiento de voz.

Los humanos son excepcionalmente buenos en captar una voz particular en un área abarrotada, silenciando todos los demás sonidos. Sin embargo, esto sigue siendo un desafío difícil para las máquinas. Todavía no son buenas separando habla individual cuando dos o más personas hablan, o en presencia de ruido de fondo.

Ahora Google ha desarrollado un modelo audio-visual basado en aprendizaje profundo que puede enfocarse en una sola señal de audio de una mezcla de voces y ruido de fondo. La IA puede analizar el video y mejorar las voces de ciertas personas mientras suprime todos los demás sonidos.

No requiere ningún formato especial de audio o video; funciona en todos los formatos de video comunes con una pista de audio. El usuario puede seleccionar una cara particular en un video que quiere escuchar, o dejar que el algoritmo lo haga basado en el contexto.

La tecnología usa una combinación de señales visuales y auditivas de un video para separar las voces. Los algoritmos pueden identificar qué persona está hablando actualmente basándose en los movimientos de su boca. Estas señales visuales mejoran significativamente la calidad de separación de voz en habla mixta, y asocian pistas de sonido con hablantes visibles.

¿Cómo Está Hecho?

Los ingenieros recopilaron una enorme cantidad de videos de YouTube de calidad de talk shows y conferencias para producir muestras de entrenamiento. Luego filtraron 2.000 horas de clips de estos videos. El video filtrado que tenía voz limpia – sin ruido de audiencia, música mezclada e interferencia de fondo.

Luego usaron este contenido para crear una combinación de videos de caras con su habla asociada y ruido de fondo de diferentes fuentes. Entrenaron una red neuronal convolucional multi-stream para separar las voces de hablantes individuales de video de habla mixta.

Tanto la representación espectrográfica de la banda sonora como miniaturas de caras de hablantes en cada fotograma (extraídas del video) se insertan en la red neuronal. La red aprende gradualmente (período de entrenamiento) cómo codificar señales auditivas y visuales y fusionarlas para crear un solo contenido audio-visual.

Mientras tanto, la red también aprende a proporcionar máscaras tiempo-frecuencia para hablantes individuales. Luego multiplica los espectrogramas de entrada ruidosos por las máscaras, para emitir una voz limpia, mientras aplasta interferencia y ruido.



Detalles de Implementación

La red se implementa en TensorFlow (marco de aprendizaje automático de código abierto), y sus operaciones se usan para realizar transformada de Fourier de tiempo corto y forma de onda. Todas las capas de la red, excepto la capa de máscara, son seguidas por activaciones de Unidad Lineal Rectificada.

La normalización por lotes se realiza para todas las capas convolucionales. Para hacer esto, usaron un tamaño de lote de 6 muestras y entrenaron por 5 millones de lotes (pasos). Los audios se remuestrean a 16 KHz, y el audio estéreo se convierte en mono para calcular la transformada de Fourier de tiempo corto.

Referencia: arXiv:1804.03619 | Google Research

Todos los embeddings de caras se remuestrean a 25 fotogramas por segundo antes del entrenamiento, lo que resultó en una corriente visual de entrada de 75 embeddings de caras. Usaron vectores cero cuando se encontraron fotogramas faltantes en una muestra específica.

Aplicaciones

La tecnología podría tener innumerables aplicaciones, desde reconocimiento de audio en videos hasta mejora de voz, especialmente donde varias personas están hablando. Ampliaría los tipos de micrófonos que pueden usarse dentro de varios entornos de audio. Pero por ahora, YouTube y Hangouts parecen dos lugares fáciles para comenzar. Finalmente, podría aplicarse a auriculares amplificadores de voz y Google Glasses.



Leer: Google Desarrolla IA de Voz Indistinguible de Humanos | Tacotron 2

Además, la técnica tiene potencial para proporcionar mejor sistema de subtítulos de video para hablantes superpuestos, pre-procesando reconocimiento de voz. Esta característica haría más fácil para personas sordas participar en teleconferencias y disfrutar videos de películas.