Microsoft presenta avance en IA conversacional con red neuronal multi-tarea avanzada

Microsoft establece nuevos récords en el campo de la inteligencia artificial conversacional.

Han desarrollado una versión mejorada de Red Neuronal Profunda Multi-Tarea para aprender representaciones de texto en diversas tareas de comprensión del lenguaje natural.

Extensión de la destilación de conocimiento

El equipo de investigación comprimió varios modelos en ensemble en una sola Red Neuronal Multi-Tarea (MT-DNN), usando destilación de conocimiento. Usaron el modelo en ensemble [de manera offline] para generar objetivos suaves para cada tarea en el conjunto de datos de entrenamiento. Comparados con objetivos duros, ofrecen más datos útiles por muestra de entrenamiento.

Tomemos una frase: «Tuve una buena charla con Juan anoche», el sentimiento es improbable que sea negativo. Sin embargo, «Tuvimos una conversación intrigante anoche» puede ser negativo o positivo, según el contexto.

Referencia: arXiv:1904.09482 | Microsoft Research Blog

Los investigadores usaron tanto objetivos correctos como objetivos suaves en diversas tareas para entrenar una sola MT-DNN. Utilizaron el marco de aprendizaje profundo PyTorch acelerado con cuDNN para entrenar y probar el nuevo modelo en GPUs NVIDIA Tesla V100.

Resultados

Compararon MT-DNN destilada con MT-DNN normal y BERT. Los resultados muestran que la MT-DNN destilada supera a ambos modelos por un margen significativo, en términos de puntuación general en la evaluación General Language Understanding Evaluation (GLUE), usada para probar rendimiento del sistema en una amplia gama de fenómenos lingüísticos.

Puntuación en benchmark GLUE

El benchmark comprende 9 tareas de NLU, incluyendo similitud textual, inferencia textual, análisis de sentimiento y respuesta a preguntas. Los datos contienen varios cientos de pares de oraciones de diferentes fuentes, como textos académicos y enciclopédicos, noticias y redes sociales.

Todos los experimentos muestran claramente que la representación del lenguaje aprendida a través de MT-DNN destilada es más universal y robusta que MT-DNN normal y BERT.

En los próximos años, los investigadores intentarán encontrar mejores formas de combinar objetivos duros correctos y objetivos suaves para aprendizaje multi-tarea. Y, en lugar de comprimir un modelo complejo a uno más simple, explorarán mejores formas de usar destilación de conocimiento para mejorar el rendimiento del modelo independientemente de su complejidad.