La inteligencia artificial puede generar el habla a partir de la actividad neuronal

• Los investigadores utilizan una red neuronal recurrente para ayudar a las personas que están paralizadas y no pueden comunicarse.
• La red convierte la actividad neuronal en acústica del habla.
• Puede ayudar a los pacientes a comunicar vocabularios sin restricciones a un ritmo natural.

Muchas afecciones neurológicas provocan la pérdida de la comunicación, lo que hace que los pacientes dependan por completo de los dispositivos de asistencia. Estos dispositivos les permiten escribir oraciones carácter por carácter a una velocidad de hasta 10 palabras por minuto. Sin embargo, esta velocidad es demasiado lenta en comparación con la conversación diaria que tiene lugar a unas 150 palabras por minuto.

Para permitir tasas de comunicación mucho más altas o incluso naturales, los investigadores de la Universidad de California en San Francisco han utilizado un enfoque biomimético que enfatiza los movimientos del tracto vocal y el sonido que producen.

Han demostrado que es posible generar un habla sintetizada directamente a partir de señales cerebrales. Estas señales coordinan con precisión alrededor de 100 músculos para mover los labios, la lengua, la mandíbula y la laringe, dando forma a la respiración en sonidos que eventualmente forman palabras y oraciones.

El equipo registró señales de electrocorticografía de alta densidad de 5 participantes que estaban siendo tratados por epilepsia (un trastorno neurológico). Se pidió a todos los participantes que leyeran oraciones en voz alta mientras unos electrodos colocados en la superficie de sus cerebros medían las señales resultantes.

Red neuronal recurrente

Los investigadores desarrollaron una red neuronal recurrente para decodificar señales corticales con una representación intermedia explícita de la dinámica articulatoria y, finalmente, sintetizar el habla audible.

Referencia:Naturaleza | DOI:10.1038 / s41586-019-1119-1 | UC San Francisco

La red neuronal se entrena con el sonido de los participantes que pronuncian oraciones en voz alta, junto con las señales corticales. Utilizaron el optimizador de ADAM para entrenar el algoritmo. Para la primera y segunda etapa de entrenamiento, se utilizó un tamaño de lote de 256 y 25, respectivamente.

La red codificadora-decodificadora profunda apilada incorporó explícitamente las señales cerebrales para decodificar el correlato fisiológico primario de la actividad neuronal y luego lo transformó en acústica del habla. Se optimizó para decodificar la acústica directamente de los electrodos.

Síntesis de voz a partir de oraciones habladas decodificadas neuronalmente | Cortesía de investigadores

Este mapeo estadístico permite la generalización con conjuntos de datos de entrenamiento limitados. Los investigadores pudieron lograr un rendimiento satisfactorio con 25 minutos de discurso y el rendimiento aumentó continuamente a medida que alimentaban más datos.

¿Qué sigue?

El estudio presenta un método avanzado para abordar un gran obstáculo que plantean los pacientes que padecen trastornos neurológicos. De acuerdo con los resultados de la generalización, los hablantes comparten una representación cinemática de espacio de estado similar, que es independiente del hablante. El conocimiento del modelo (mapeo de la cinemática al sonido entre los participantes) se puede transferir.

Aprovechar esta representación de baja dimensión de la actividad neuronal de diferentes personas podría facilitar el aprendizaje de la interfaz cerebro-computadora. Los hallazgos pueden abrir nuevas puertas para lograr la restauración del habla en pacientes con parálisis.

Leer:AI puede leer artículos de investigación y proporcionar un resumen en inglés sencillo

La red neuronal desarrollada en este estudio proporciona la capacidad de comunicar vocabularios sin restricciones a una velocidad de habla natural. Este enfoque de síntesis de voz directa captura elementos prosódicos de la voz, incluida la entonación del tono, que no están disponibles con la salida de texto. Además, puede ser más fácil e intuitivo aprender a usarlo para pacientes en los que el procesamiento cortical de la articulación aún está intacto.