Microsoft presenta modelo de lenguaje récord de 17.000 millones de parámetros

Microsoft presenta Turing Natural Language Generation, el modelo más grande del mundo con 17.000 millones de parámetros. Genera resúmenes abstractivos de documentos de texto, respuestas directas a preguntas y palabras para completar oraciones. El modelo responde con la misma precisión, directitud y fluidez que los humanos en diferentes situaciones.

Entrenamiento de T-NLG

Dado que una GPU (incluso con 32 GB de memoria) no puede procesar miles de millones de parámetros, necesitas paralizar el modelo mismo o dividirlo en rebanadas para entrenarlo a través de múltiples GPUs.

En este estudio, los investigadores aprovecharon la configuración de hardware NVIDIA DGX-2 (para hacer la comunicación entre GPUs más rápida) y tensor slicing (para dividir el modelo entre 4 GPUs NVIDIA V100). Usando la librería DeepSpeed y optimizador Zero, pudieron entrenar T-NLG muy eficientemente con menos GPUs.

Rendimiento contra tareas estándar

Luego compararon el rendimiento de T-NLG pre-entrenado contra otros poderosos modelos de lenguaje transformer en dos tareas estándar: precisión de predicción de próxima palabra LAMBADA (mayor es mejor) y perplejidad Wikitext-103 (menor es mejor). En ambos casos, T-NLG funcionó mejor.

Rendimiento en respuesta a preguntas

Para probar cualidades como corrección gramatical y corrección factual, los investigadores buscaron ayuda de anotadores humanos. Compararon el nuevo modelo con el modelo LSTM (similar a CopyNet).

Rendimiento en resumen activo

T-NLG puede escribir resúmenes abstractivos similares a humanos para una variedad de documentos de texto (incluyendo documentos Word, posts de blog, emails, presentaciones PowerPoint e incluso hojas Excel), pero ¿qué tan bueno es comparado con otros modelos NLP existentes?

Para hacer el nuevo modelo más versátil para que pueda resumir todo tipo de texto, los investigadores lo entrenaron en conjuntos de datos de resumen disponibles públicamente. Luego lo compararon con otro modelo grande de lenguaje basado en transformer llamado PEGASUS y su versión anterior. Esta vez, reportaron la puntuación ROUGE – un conjunto de métricas usadas para evaluar resumen automático en procesamiento de lenguaje natural.

Aplicaciones

Microsoft ha logrado un avance en inteligencia artificial conversacional. En los próximos años, integrarán T-NLG en la suite Microsoft Office, lo que no solo ahorrará tiempo a los usuarios resumiendo emails y documentos, sino que también ofrecerá asistencia de escritura y responderá preguntas que los lectores puedan hacer sobre el contenido.

Además, los hallazgos allanan el camino para asistentes digitales y chatbots más precisos y fluidos, ayudando a empresas con ventas y gestión de relaciones con clientes.