IA traduce señales neuronales en habla natural para pacientes paralizados

Investigadores usan red neuronal recurrente para ayudar a personas paralizadas que no pueden comunicarse.

La red convierte actividad neuronal en acústica del habla.

Puede ayudar a pacientes a comunicar vocabularios sin restricciones a velocidad de habla natural.

Red Neuronal Recurrente

Muchas condiciones neurológicas resultan en pérdida de comunicación, dejando pacientes dependientes de dispositivos asistivos. Estos permiten escribir frases carácter por carácter hasta 10 palabras/minuto. Pero esto es demasiado lento vs conversación cotidiana (~150 palabras/minuto).

Para permitir tasas de comunicación mucho más altas o incluso naturales, investigadores de UC San Francisco usaron enfoque biomimético enfatizando movimientos de tracto vocal y sonidos que producen.

Demostraron que es posible generar habla sintetizada directamente de señales cerebrales. Estas coordinan precisamente ~100 músculos para mover labios, lengua, mandíbula y laringe, moldeando respiración en sonidos que forman palabras y frases.

El equipo registró señales de electrocorticografía de alta densidad de 5 participantes tratados por epilepsia (trastorno neurológico). Todos leyeron frases en voz alta mientras electrodos en superficie cerebral medían señales resultantes.

Red Neuronal Recurrente

Investigadores desarrollaron red neuronal recurrente para decodificar señales corticales con representación intermedia explícita de dinámicas articulatorias, y eventualmente sintetizar habla audible.

Referencia: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco

La red neuronal se entrenó en sonido de participantes hablando frases, junto con señales corticales. Usaron optimizador ADAM. Para primera y segunda etapa de entrenamiento, batch size 256 y 25 respectivamente.

La red codificador-decodificador profunda apilada incorporó explícitamente señales cerebrales para decodificar correlato fisiológico primario de actividad neuronal y transformarlo en acústica del habla. Optimizada para decodificar acústica directamente de electrodos.

Síntesis de habla desde frases habladas decodificadas neuralmente | Cortesía de investigadores

Este mapeo estadístico permite generalización con datasets de entrenamiento limitados. Lograron rendimiento satisfactorio con 25 minutos de habla, y rendimiento aumentó continuamente al alimentar más datos.

¿Qué sigue?

El estudio presenta método avanzado para gran obstáculo de pacientes con trastornos neurológicos. Según resultados de generalización, hablantes comparten representación similar de espacio de estados cinemáticos, independiente del hablante. El conocimiento del modelo —mapeo de cinemática a sonido entre participantes— puede transferirse.

Acceder a esta representación de baja dimensión de actividad neuronal de diferentes personas podría facilitar aprendizaje de interfaz cerebro-computadora. Hallazgos abren puertas para restauración del habla en pacientes con parálisis.

Leer: IA lee papers científicos y da resumen en inglés llano

La red neuronal desarrollada proporciona capacidad para comunicar vocabularios sin restricciones a velocidad de habla natural. Esta aproximación de síntesis directa captura elementos prosódicos del habla, incluyendo entonación de tono, no disponibles con salida de texto. Además, puede ser más fácil e intuitivo de aprender para pacientes en quienes el procesamiento cortical de articulación sigue intacto.