Intel ofrece el marco de software y el chip neuromórfico Loihi 2

Intel ha presentado su chip de computación neuromórfica de segunda generación, Loihi 2, el primer chip que se construirá con su tecnología de proceso Intel 4. Diseñado para la investigación de redes neuronales neuromórficas de vanguardia, Loihi 2 ofrece una serie de mejoras. Incluyen un nuevo conjunto de instrucciones para neuronas que proporciona más capacidad de programación, lo que permite que los picos tengan valores enteros más allá de 1 y 0, y la capacidad de escalar en mallas tridimensionales de chips para sistemas más grandes.

El fabricante de chips también presentó Lava, un marco de software de código abierto para desarrollar aplicaciones de inspiración neurológica. Intel espera involucrar a los investigadores neuromórficos en el desarrollo de Lava, que cuando esté en funcionamiento permitirá que los equipos de investigación se basen en el trabajo de los demás.

Loihi es la versión de Intel de cómo debería ser el hardware neuromórfico, diseñado para redes neuronales de picos (SNN) inspiradas en el cerebro. Los SNN se utilizan en la informática basada en eventos, en la que el tiempo de los picos de entrada codifica la información. En general, los picos que llegan antes tienen más efecto computacional que los que llegan más tarde.

Procesador neuromórfico de segunda generación Loihi 2 de Intel. (Fuente:Intel)

Entre las diferencias clave entre el hardware neuromórfico y las CPU estándar se encuentra la distribución detallada de la memoria, lo que significa que la memoria de Loihi está incrustada en núcleos individuales. Dado que los picos de Loihi dependen de la sincronización, la arquitectura es asincrónica.

"En la computación neuromórfica, la computación está surgiendo a través de la interacción entre estos elementos dinámicos", explicó Mike Davies, director del Laboratorio de Computación Neuromórfica de Intel. “En este caso, son las neuronas las que tienen esta propiedad dinámica de adaptarse en línea a la entrada que recibe, y es posible que el programador no conozca la trayectoria precisa de los pasos por los que pasará el chip para llegar a una respuesta.

“Pasa por un proceso dinámico de autoorganización de sus estados y se instala en una nueva condición. Ese punto fijo final, como lo llamamos, o estado de equilibrio, es lo que codifica la respuesta al problema que desea resolver ”, agregó Davies. "Por lo tanto, es fundamentalmente diferente de cómo pensamos sobre la informática en otras arquitecturas".

Los chips Loihi de primera generación se han demostrado hasta ahora en una variedad de aplicaciones de investigación, incluido el control adaptativo del brazo del robot, donde el movimiento se adapta a los cambios en el sistema, reduciendo la fricción y el desgaste en el brazo. Loihi puede adaptar su algoritmo de control para compensar errores o comportamientos impredecibles, lo que permite a los robots operar con la precisión deseada. Loihi también se ha utilizado en un sistema que reconoce diferentes olores. En este escenario, puede aprender y detectar nuevos olores de manera mucho más eficiente que un equivalente basado en aprendizaje profundo. Un proyecto con Deutsche Bahn también utilizó Loihi para la programación de trenes. El sistema reaccionó rápidamente a cambios como cierres de vías o trenes parados.

Funciones de segunda generación

Basado en una versión de preproducción del proceso Intel 4, Loihi 2 tiene como objetivo aumentar la capacidad de programación y el rendimiento sin comprometer la eficiencia energética. Como su predecesor, normalmente consume alrededor de 100 mW (hasta 1 W).

Un aumento en la densidad de recursos es uno de los cambios más importantes; mientras que el chip todavía incorpora 128 núcleos, el recuento de neuronas aumenta en un factor de ocho.

"Llegar a una mayor cantidad de almacenamiento, neuronas y sinapsis en un solo chip es esencial para la viabilidad comercial ... y comercializarlos de una manera que tenga sentido para las aplicaciones de los clientes", dijo Davies.

haga clic para ver la imagen a tamaño completo

Características de Loihi 2. (Fuente:Intel)

Con Loihi 1, las cargas de trabajo a menudo se mapean en la arquitectura de formas no óptimas. Por ejemplo, el recuento de neuronas a menudo llegaba al máximo mientras la memoria libre todavía estaba disponible. La cantidad de memoria en Loihi 2 es similar en total, pero se ha dividido en bancos de memoria que son más flexibles. Se ha agregado compresión adicional a los parámetros de red para minimizar la cantidad de memoria requerida para modelos más grandes. Esto libera memoria que se puede reasignar a las neuronas.

El resultado es que Loihi 2 puede abordar problemas más grandes con la misma cantidad de memoria, lo que aumenta aproximadamente 15 veces la capacidad de la red neuronal por milímetro ² de área de viruta, teniendo en cuenta que la nueva tecnología de proceso reduce a la mitad el área de la matriz.

Programabilidad de neuronas

La programabilidad es otra modificación arquitectónica importante. Las neuronas que antes eran de función fija, aunque configurables, en Loihi 1 obtienen un conjunto completo de instrucciones en Loihi 2. El conjunto de instrucciones incluye aritmética común, comparación y instrucciones de flujo de control de programa. Ese nivel de programabilidad permitiría ejecutar de manera más eficiente varios tipos de SNN.

“Este es un tipo de microcódigo que nos permite programar modelos de neuronas casi arbitrarios”, dijo Davies. “Esto cubre los límites de Loihi [1], y donde generalmente encontramos más valor de aplicación podría desbloquearse con modelos de neuronas aún más complejos y ricos, que no es lo que esperábamos al comienzo de Loihi. Pero ahora podemos abarcar toda la extensión de los modelos de neuronas que nuestros socios están tratando de investigar, y lo que el dominio de la neurociencia computacional [está] proponiendo y caracterizando ”.

La matriz Loihi 2 es la primera que se fabrica en una versión de preproducción de la tecnología de proceso Intel 4. (Fuente:Intel)

Para Loihi 2, la idea de picos también se ha generalizado. Loihi 1 empleó picos binarios estrictos para reflejar lo que se ve en biología, donde los picos no tienen magnitud. Toda la información está representada por la sincronización de los picos, y los picos anteriores tendrían un mayor efecto computacional que los picos posteriores. En Loihi 2, los picos llevan una carga útil entera configurable disponible para el modelo de neurona programable. Si bien los cerebros biológicos no hacen esto, Davies dijo que para Intel era relativamente fácil agregarlo a la arquitectura de silicio sin comprometer el rendimiento.

"Este es un caso en el que nos estamos apartando de la estricta fidelidad biológica, específicamente porque entendemos cuál es la importancia, el aspecto de codificación del tiempo", dijo. “Pero [nos dimos cuenta de] que podemos hacerlo mejor y que podemos resolver los mismos problemas con menos recursos si tenemos esta magnitud adicional que se puede enviar junto con este pico”.

La mensajería generalizada basada en eventos es clave para el soporte de Loihi 2 de una red neuronal profunda llamada red neuronal sigma-delta (SDNN), que es mucho más rápida que el enfoque de sincronización utilizado en Loihi 1. Las SDNN calculan los valores de activación gradual de la misma manera que las DNN convencionales hacen, pero solo comunican cambios significativos a medida que ocurren de una manera dispersa y basada en eventos.

Escala 3D

Loihi 2 se factura como hasta 10 veces más rápido que su predecesor a nivel de circuito. Combinado con mejoras funcionales, el diseño puede ofrecer ganancias de velocidad hasta 10 veces mayores, afirmó Davies. Loihi 2 admite pasos de tiempo mínimos en todo el chip por debajo de 200ns; también puede procesar redes neuromórficas hasta 5000 veces más rápido que las neuronas biológicas.

El nuevo chip también cuenta con puertos de escalabilidad que permiten a Intel escalar las redes neuronales a la tercera dimensión. Sin memoria externa en la que ejecutar redes neuronales más grandes, Loihi 1 requería varios dispositivos (como en el sistema de chips 768-Loihi de Intel, Pohoiki Springs). Las mallas planas de los chips Loihi 1 se convierten en mallas 3D en Loihi 2. Mientras tanto, el ancho de banda de chip a chip se ha mejorado en un factor de cuatro, con compresión y nuevos protocolos que proporcionan una décima parte del tráfico de picos redundantes enviado entre chips. Davies dijo que el aumento de capacidad combinado es de alrededor de 60 veces para la mayoría de las cargas de trabajo, lo que evita los cuellos de botella causados ​​por los enlaces entre chips.

También se admite el aprendizaje de tres factores, que es popular en la investigación de algoritmos neuromórficos de vanguardia. La misma modificación, que asigna terceros factores a sinapsis específicas, se puede utilizar para aproximar la retropropagación, el método de entrenamiento utilizado en el aprendizaje profundo. Eso crea nuevas formas de aprender a través de Loihi.

Loihi 2 estará disponible para los investigadores como una placa de un solo chip para desarrollar aplicaciones de borde (Oheo Gulch). También se ofrecerá como una placa de ocho chips destinada a escalar para aplicaciones más exigentes. (Fuente:Intel)

Lava

El marco del software Lava completa las mejoras de Loihi. El proyecto de código abierto está disponible para la comunidad de investigación neuromórfica.

"El software sigue frenando el campo", dijo Davies. “No ha habido mucho progreso, no al mismo ritmo que el hardware durante los últimos años. Y no ha surgido un solo marco de software, como hemos visto en el mundo del aprendizaje profundo, donde tenemos a TensorFlow y PyTorch ganando un gran impulso y una base de usuarios ".

Si bien Intel tiene una cartera de aplicaciones demostrada para Loihi, el uso compartido de código entre los equipos de desarrollo ha sido limitado. Eso hace que sea más difícil para los desarrolladores aprovechar el progreso logrado en otros lugares.

Promocionado como un nuevo proyecto, no como un producto, Davies dijo que Lava está diseñado como una forma de construir un marco que apoye a los investigadores de Loihi que trabajan en una variedad de algoritmos. Si bien Lava tiene como objetivo el paso de mensajes asincrónicos basados ​​en eventos, también admitirá la ejecución heterogénea. Eso permite a los investigadores desarrollar aplicaciones que inicialmente se ejecutan en CPU. Con acceso al hardware Loihi, los investigadores pueden mapear partes de la carga de trabajo en el chip neuromórfico. La esperanza es que ese enfoque ayude a reducir la barrera de entrada.

“Vemos la necesidad de convergencia y desarrollo comunitario aquí hacia este objetivo mayor que será necesario para comercializar tecnología neuromórfica”, dijo Davies.

Loihi 2 será utilizado por investigadores que desarrollen algoritmos neuromórficos avanzados. Oheo Gulch, un sistema de un solo chip para pruebas de laboratorio, estará inicialmente disponible para los investigadores, seguido de Kapoho Point, una versión Loihi 2 de ocho chips de Kapoho Bay. Kapoho Point incluye una interfaz Ethernet diseñada para permitir que las placas se apilen para aplicaciones como la robótica que requieren más potencia informática.

Lava está disponible para descargar en GitHub.

>> Este artículo se publicó originalmente en nuestro sitio hermano, EE. Tiempos.

---

Contenidos relacionados:

• Argumentos a favor de los chips neuromórficos para la informática de IA
• La red neuronal de puntería apunta a los chips de brazo
• chips de inteligencia artificial avanzados para construir sobre tecnologías de memoria emergentes
• Debut de chips de inteligencia artificial neuromórfica para aumentar las redes neuronales
• El enigma de la evaluación comparativa de la computación neuromórfica

Para obtener más información sobre Embedded, suscríbase al boletín informativo semanal por correo electrónico de Embedded.