Descubriendo nuevos materiales termoeléctricos con incrustaciones de palabras

Hable con cualquiera hoy y le dirán que la Inteligencia Artificial es la próxima gran cosa —la papa caliente que todos quieren un pedazo, pero nadie puede masticar.

Una buena mayoría también le dirá que gran parte de lo que circula como IA es realmente solo exageración —una glorificación del buen y viejo aprendizaje automático y matemáticas vestidas de PowerPoint. Y en su mayor parte, tendrían razón.

Sin embargo, un área donde la aplicación de herramientas de IA como el Aprendizaje Profundo ha sido nada menos que revolucionaria es en el Procesamiento de Lenguaje Natural.

Un ejemplo fácil son los chatbots que atienden sitios web. Están ejecutados por arquitecturas de aprendizaje profundo relativamente complicadas llamadas redes neuronales de Memoria a Corto y Largo Plazo (LSTM). Estos algoritmos pueden 'comprender' lo que les decimos y unir oraciones coherentes y legibles en respuesta. Seguro, este bot no es Sócrates, pero no escupe un revoltijo aleatorio de palabras. Hay la innegable sugerencia de alguna inteligencia de bajo nivel.

Incrustaciones de palabras

La era moderna del aprendizaje profundo en el procesamiento del lenguaje comenzó con la publicación en 2013 del artículo word2vec de Tomas Mikolov. Su triunfo fue desarrollar un método computacionalmente factible para generar incrustaciones de palabras o vectores de palabras usando redes neuronales.

Considere las palabras hombre, mujer, rey y reina. Si se le pidiera agrupar estas palabras, tiene varias opciones de sentido común. Tiendo a ver [hombre, mujer] y [rey, reina]. Usted podría estar viendo [hombre, rey] y [mujer, reina].

Las incrustaciones de palabras capturan relaciones semánticas entre palabras en un texto. De https://samyzaf.com/ML/nlp/nlp.html

También sé que la palabra rey y hombre están relacionadas exactamente de la misma manera que 'mujer' y 'reina'.

hombre:rey = mujer:reina

Incluso si nunca hubiera escuchado estas palabras antes, puedo aprender estas relaciones observando las oraciones con las que me encuentro. 'Este hombre es un rey' , 'La reina era una mujer piadosa', 'Ella reinó como la reina de la pantalla de plata', 'Su reino vendrá'. Estas oraciones sugieren a través de la proximidad de las palabras sola que el rey es mayormente un hombre y que una reina es muy probablemente una mujer.

Las incrustaciones de palabras hacen lo mismo, pero para millones de palabras de miles de documentos. La clave aquí es que las palabras se aprenden del contexto. Lo que permite este juego de analogía matemática son los poderes de la computación moderna y la magia del aprendizaje profundo.

Incrustaciones de palabras de aprendizaje profundo

Digamos que queremos encontrar las incrustaciones para todas las palabras en Harry Potter.

Primero creamos una especie de cámara-bóveda-biblioteca matemática. Un monstruo multidimensional gigantesco lo suficientemente grande para contener todas las palabras que necesitamos. Este es el espacio vectorial.

El objetivo es recorrer Harry Potter palabra por palabra y poner cada palabra en una bóveda en la cámara. Palabras similares como Vestido y Capa van en la misma bóveda. Quidditch y Snitch están en bóvedas adyacentes. Coche y Centauro están tan lejos como Plátano y Voldemort.

La incrustación de palabras de una palabra es la dirección de la bóveda en la que se encontrará. Matemáticamente, esto la convierte en un vector en el espacio vectorial.

Puede ver por qué ningún humano querría este trabajo. Hay demasiadas palabras y demasiado movimiento involucrado.

Una red neuronal, sin embargo, hace esto excepcionalmente bien. Lo hace, bueno, por magia.

Una red neuronal profunda es una especie de máquina masiva con millones de engranajes y palancas. Al principio todo es caos y nada encaja con nada aunque hay barajado por todos lados. Luego, lentamente, algunos engranajes comienzan a encajar. Las palancas caen en su lugar —y el orden emerge del caos. La máquina comienza a moverse. ¡Frankenstein está vivo!

El lenguaje aquí es deliberadamente vago. Quiero llevarlo a las aplicaciones de las incrustaciones de palabras, en lugar de cómo se derivan. Dicho esto, a un nivel fundamental no sabemos del todo cómo las redes neuronales hacen lo que hacen. Así que en nuestros experimentos tenemos que jugar con el número de capas, las funciones de activación, el número de neuronas en cada capa, etc., antes de llegar a nuestra tarea. Pero ese es un tema para otro día.

Termoeléctricos

En un artículo publicado en 2019, un equipo de investigadores del Laboratorio Berkeley generó las incrustaciones de palabras de todos los resúmenes en alrededor de 3,3 millones de artículos publicados en 1000 revistas. Esta lista es obviamente enorme y cubre casi todos los temas publicados en ciencia de materiales en las últimas dos décadas.

Cuando se trata de un texto científico, las fórmulas químicas y los símbolos también son 'palabras'. Por lo tanto, hay un vector de palabras para LiCoO2 —que es un cátodo de batería común. Luego puede hacer preguntas como: ¿cuáles son los vectores de palabras más cercanos a LiCoO2?

Sabemos que LiCoO2 es un vector en el espacio vectorial. Así que todo lo que necesitamos hacer es encontrar vectores que estén cerca.

La respuesta sale como LiMn2O4, LiNi0.5Mn1.5O4, LiNi0.8Co0.2O2, LiNi0.8Co0.15Al0.05O2 y LiNiO2—todos los cuales son también materiales de cátodo de iones de litio.

La vía de relación de compuestos químicos seleccionados a la palabra 'termoeléctrico'. Li2CuSb no está directamente relacionado con 'termoeléctrico', pero está cerca de otras palabras que son indicadores de esta propiedad como 'banda indirecta' y 'optoelectrónica'. De [2]

¿Ven lo que hicimos aquí?

Realmente estábamos intentando explorar otros materiales que fueran similares a nuestro cátodo favorito. En lugar de leer mil artículos, tomar notas y llegar a una lista de compuestos de litio, las incrustaciones de palabras resolvieron la tarea en unos segundos.

Este es el poder de la incrustación de palabras. Al convertir consultas semánticas en operaciones vectoriales matemáticas, este enfoque nos permite consultar y comprender grandes bases de datos de texto mejor y más eficientemente.

Como ejemplo adicional, los investigadores estudiaron con qué frecuencia un compuesto químico se encontraba cerca del vector para 'termoeléctricos'. (Estos son materiales que convierten energía eléctrica en calor o viceversa).

Puede hacer esto a través de una operación vectorial sencilla llamada producto punto. Los vectores que son similares tienen un producto punto que se acerca a uno. Los vectores disimilares tienen un producto punto cercano a cero.

Al realizar la misma operación en compuestos químicos en la base de datos y la palabra 'termoeléctrico', los autores encontraron todos los químicos que eran probablemente termoeléctricos.

Las incrustaciones de palabras de la base de datos de resúmenes pueden responder preguntas como: Si Zr es Hexagonal, Cromo es …? (Centrado en el cuerpo) De [2]

Los autores continúan mostrando que relaciones similares pueden demostrarse para varias propiedades de materiales como estructura cristalina y ferroeléctricidad. Además, muestran que usando esta técnica, varios de los termoeléctricos actuales podrían haber sido predichos años atrás a partir de la literatura existente.

El análisis es una expresión muy bella, elegante pero engañosamente simple de la pregunta 'De todos los materiales estudiados por el hombre, cuáles son probablemente termoeléctricos'.

Las bases de datos de materiales son la necesidad del momento

Supondría que ya tenemos esta lista —claramente alguien ha estado tomando nota de todo el trabajo que hemos estado haciendo? Compilando manuales de materiales y bases de datos electrónicas?

La respuesta es un sorprendente no. La vasta cantidad de conocimiento que hemos amasado a lo largo de los años está encerrada en textos como libros, revistas y artículos. Hay tantos que es imposible para nosotros escanearlos manualmente.

Esta es precisamente la razón por la que las incrustaciones de palabras y las técnicas demostradas en este artículo no son nada menos que revolucionarias.
Prometen cambiar la forma en que interactuamos con el texto y acelerar rápidamente nuestra base de datos de materiales.

¿Cuáles son algunos de los materiales que se han estudiado para la piezoeléctricidad? ¿Hay un superconductor que nos hayamos perdido en la literatura? ¿Hay un nuevo fármaco que pueda curar el Alzheimer?
Pregúntele a las incrustaciones de palabras. Ellas lo sabrían.