Los aceleradores de hardware sirven aplicaciones de IA

Los aceleradores de hardware, dispositivos especializados que se utilizan para realizar tareas específicas como clasificar objetos, están cada vez más integrados en sistemas en chips (SoC) que sirven a diversas aplicaciones de inteligencia artificial. Ayudan a crear procesadores personalizados estrechamente integrados que ofrecen menor energía, menor latencia, reutilización de datos y ubicación de datos.

Para empezar, es necesario acelerar por hardware los algoritmos de IA. Los aceleradores de IA están diseñados específicamente para permitir un procesamiento más rápido de las tareas de IA; Realizan tareas particulares de una manera que no es factible con los procesadores tradicionales.

Además, ningún procesador puede satisfacer las diversas necesidades de las aplicaciones de inteligencia artificial, y aquí, los aceleradores de hardware incorporados en los chips de inteligencia artificial brindan ventajas de rendimiento, eficiencia energética y latencia para cargas de trabajo específicas. Es por eso que las arquitecturas personalizadas basadas en aceleradores de IA están comenzando a desafiar el uso de CPU y GPU para aplicaciones de IA.

Los diseñadores de chips de IA deben determinar qué acelerar, cómo acelerarlo y cómo interconectar esa funcionalidad con la red neuronal. A continuación se muestra una instantánea de las tendencias clave de la industria que definen el uso de aceleradores de hardware en cargas de trabajo de IA en evolución. Inevitablemente, comienza con aceleradores de IA disponibles para su integración en una variedad de chips y tarjetas de IA.

IP de acelerador de IA

Los aceleradores de hardware se utilizan ampliamente en chips de inteligencia artificial para segmentar y agilizar tareas intensivas en datos, como la visión por computadora y el aprendizaje profundo, tanto para aplicaciones de capacitación como de inferencia. Estos núcleos de IA aceleran las redes neuronales en marcos de IA como Caffe, PyTorch y TensorFlow.

Gyrfalcon Technology Inc. (GTI) diseña chips de IA y proporciona aceleradores de IA para su uso en diseños de SoC personalizados a través de un modelo de licencia de IP. El advenedizo de inteligencia artificial con sede en Milpitas, California, ofrece los aceleradores de inteligencia artificial Lightspeeur 2801 y 2803 para aplicaciones de borde y en la nube, respectivamente.

Es importante tener en cuenta que Gyrfalcon también ha desarrollado chips de IA en torno a estos aceleradores de hardware, y eso hace que estas IP de aceleradores de IA estén probadas en silicio. El chip de inteligencia artificial 2801 de la empresa para diseños de borde realiza operaciones de 9,3 tera por segundo por vatio (TOPS / W), mientras que su chip de inteligencia artificial 2803 para aplicaciones de centro de datos puede entregar 24 TOPS / W.

Junto con las herramientas de desarrollo de IP y la documentación técnica, Gyrfalcon proporciona a los diseñadores de IA dongles USB 3.0 para la creación de modelos, la evaluación de chips y los diseños de prueba de concepto. Los licenciatarios pueden usar estos dongles en PC con Windows y Linux, así como en kits de desarrollo de hardware como Raspberry Pi.

Arquitectura de hardware

La premisa básica de los aceleradores de IA es procesar algoritmos más rápido que nunca con la menor cantidad de energía posible. Realizan la aceleración en el borde, en el centro de datos o en algún punto intermedio. Y los aceleradores de IA pueden realizar estas tareas en ASIC, GPU, FPGA, DSP o una versión híbrida de estos dispositivos.

Eso conduce inevitablemente a varias arquitecturas de aceleradores de hardware optimizadas para el aprendizaje automático (ML), el aprendizaje profundo, el procesamiento del lenguaje natural y otras cargas de trabajo de IA. Por ejemplo, algunos ASIC están diseñados para ejecutarse en redes neuronales profundas (DNN), que, a su vez, podrían haberse entrenado en una GPU u otro ASIC.

Lo que hace que la arquitectura del acelerador de IA sea crucial es el hecho de que las tareas de IA pueden ser masivamente paralelas. Además, el diseño del acelerador de IA está entrelazado con la implementación de múltiples núcleos, y eso acentúa la importancia crítica de la arquitectura del acelerador de IA.

A continuación, los diseños de IA están dividiendo los algoritmos cada vez más al agregar más y más aceleradores creados específicamente para aumentar la eficiencia de la red neuronal. Cuanto más específico sea el caso de uso, más oportunidades existen para el uso granular de muchos tipos de aceleradores de hardware.

Aquí, vale la pena mencionar que, además de los aceleradores de IA incorporados en chips personalizados, también se están empleando tarjetas de aceleración para aumentar el rendimiento y reducir la latencia en los servidores en la nube y los centros de datos locales. Las tarjetas aceleradoras Alveo de Xilinx Inc., por ejemplo, pueden acelerar radicalmente la búsqueda de bases de datos, el procesamiento de video y el análisis de datos en comparación con las CPU ( Fig. 1 ).

Fig. 1:Las tarjetas aceleradoras Alveo U250 aumentan el rendimiento de la inferencia en tiempo real en 20 veces en comparación con las CPU de gama alta y reducen la latencia inferior a 2 ms en más de 4 veces en comparación con los aceleradores de función fija como las GPU de gama alta. (Imagen:Xilinx Inc.)

Programabilidad

Se están produciendo muchos cambios dinámicos en los diseños de IA y, como resultado, los algoritmos de software están cambiando más rápido de lo que se pueden diseñar y fabricar los chips de IA. Subraya un desafío clave para los aceleradores de hardware que tienden a convertirse en dispositivos de función fija en tales casos.

Por lo tanto, debe haber algún tipo de programabilidad en los aceleradores que permita a los diseñadores adaptarse a las necesidades cambiantes. La flexibilidad de diseño que viene con las características de programabilidad también permite a los diseñadores manejar una amplia variedad de cargas de trabajo de IA y topologías de redes neuronales.

Intel Corp. ha respondido a este llamado a la capacidad de programación en diseños de inteligencia artificial adquiriendo un desarrollador con sede en Israel de aceleradores de aprendizaje profundo programables por aproximadamente $ 2 mil millones. El procesador Gaudí de Habana para entrenamiento y el procesador Goya para inferencia ofrecen un entorno de desarrollo fácil de programar ( Fig. 2 ).

Fig. 2:Así es como las plataformas y herramientas de desarrollo aceleran los diseños de chips de IA utilizando los aceleradores de entrenamiento de Gaudi. (Imagen:Habana)

IA en el borde

A estas alturas, es evidente que el mercado de la inferencia de IA es mucho más grande que el entrenamiento de IA. Es por eso que la industria está siendo testigo de una variedad de chips optimizados para una amplia gama de cargas de trabajo de IA que van desde el entrenamiento hasta la inferencia.

Eso lleva a los microcontroladores (MCU) al ámbito del diseño de IA que, de otro modo, se ha asociado principalmente con potentes SoC. Estas MCU están incorporando aceleradores de inteligencia artificial para servir dispositivos de borde de IoT e industriales con recursos limitados en aplicaciones como detección de objetos, reconocimiento de rostros y gestos, procesamiento de lenguaje natural y mantenimiento predictivo.

Tomemos el ejemplo del acelerador de ML microNPU ML Ethos U-55 de Arm que NXP Semiconductors está integrando en sus microcontroladores basados ​​en Cortex-M, MCU cruzados y subsistemas en tiempo real en procesadores de aplicaciones. El acelerador Ethos U-55 trabaja en conjunto con el núcleo Cortex-M para lograr una huella pequeña. Sus técnicas de compresión avanzadas ahorran energía y reducen significativamente los tamaños de los modelos de aprendizaje automático para permitir la ejecución de redes neuronales que anteriormente solo se ejecutaban en sistemas más grandes.

El entorno de desarrollo eIQ ML de NXP ofrece a los diseñadores de IA una selección de motores de inferencia de código abierto. Dependiendo de los requisitos específicos de la aplicación, estos aceleradores de IA se pueden incorporar en una variedad de elementos de cómputo:CPU, GPU, DSP y NPU.