El grupo de ingeniería busca llevar la IA de 1 mW al límite

Cuando el grupo TinyML convocó recientemente su reunión inaugural, los miembros tuvieron que abordar una serie de preguntas fundamentales, comenzando con:¿Qué es TinyML?

TinyML es una comunidad de ingenieros centrada en la mejor manera de implementar el aprendizaje automático (ML) en sistemas de energía ultrabaja. La primera de sus reuniones mensuales estuvo dedicada a definir el tema. ¿Se puede lograr el aprendizaje automático para dispositivos de baja potencia como los microcontroladores? ¿Y se requieren procesadores especializados de aprendizaje automático de ultra bajo consumo de energía?

Evgeni Gousev de Qualcomm AI Research definió TinyML como enfoques de aprendizaje automático (ML) que consumen 1 mW o menos. Gousev dijo que 1mW es el "número mágico" para las aplicaciones siempre activas en los teléfonos inteligentes.

"Se habla mucho sobre el aprendizaje automático en la nube, mientras que el aprendizaje automático en el nivel de los teléfonos inteligentes se vuelve cada vez más sofisticado", dijo. “Pero si miras los datos, el 90 por ciento de los datos están en el mundo real. ¿Cómo se conectan todas estas cámaras, IMU y otros sensores y se realiza el aprendizaje automático a ese nivel? "

"Tiny ML va a ser grande, y existe una necesidad real y urgente de impulsar todo el ecosistema de ML diminuto, incluidas aplicaciones, software, herramientas, algoritmos, hardware, ASIC, dispositivos, fabs y todo lo demás", dijo Gousev. .

El ingeniero de Google Nat Jefferies presenta en la primera reunión de TinyML (Imagen:TinyML)

TensorFlow Lite

El ingeniero de Google Daniel Situnayake presentó una descripción general de TensorFlow Lite, una versión del marco TensorFlow de Google diseñado para dispositivos periféricos, incluidos microcontroladores.

"TensorFlow Lite se ha dirigido a los teléfonos móviles, pero estamos entusiasmados de ejecutarlo en dispositivos cada vez más pequeños", dijo.

Después de crear un modelo en TensorFlow, los ingenieros pueden ejecutarlo a través del convertidor Tensor Flow Lite, que "lo hace más pequeño y hace cosas como la cuantificación, lo que le permite reducir el tamaño y la precisión del modelo a una escala en la que quepa cómodamente en el dispositivo al que está apuntando ", dijo.

Situnayake describió una técnica que podría usarse para aumentar la eficiencia energética, que implica encadenar modelos.

"Imagina un modelo en cascada de clasificadores en el que tienes un modelo de muy baja potencia que apenas utiliza potencia para detectar si hay un sonido, luego otro modelo que requiere más energía para funcionar, que determina si es habla humana o no". él explicó. “Luego, una red más profunda que solo se activa cuando se cumplen estas condiciones, que utiliza más energía y recursos. Al encadenarlos, solo activa el [intensivo en energía] cuando lo necesita, por lo que puede hacer grandes ahorros en eficiencia energética ".

Los modelos de aprendizaje automático en cascada pueden ayudar a ahorrar energía (Imagen:Google)

Nat Jefferies, ingeniero del equipo "TensorFlow Lite para microcontroladores" de Google, describió la tendencia de los requisitos estrictos de consumo de energía en los dispositivos de consumo modernos, a pesar de las funciones sofisticadas y los sistemas de sensores sofisticados. Estos dispositivos pueden funcionar con baterías que deben durar meses o años, o utilizar la recolección de energía.

"Creemos que la mejor solución para esto es Tiny ML:aprendizaje profundo en microcontroladores", dijo. “Esto nos permite hacer ciclos de CPU y lecturas de sensores, que [no consumen mucha energía], en lugar de enviar toda la información fuera del chip ... TinyML se puede usar para condensar los datos del sensor en solo unos pocos bytes, lo que luego puede enviar ... por solo una fracción de la potencia ", dijo.

Un desafío reciente de Google en el que los participantes desarrollaron modelos de 250 kbytes para detectar personas recibió muchas presentaciones impresionantes y "valida que lo que estamos haciendo es significativo", dijo Jefferies.

"Actualmente, podemos reducir los modelos de TensorFlow hasta el punto en que podemos colocarlos en microcontroladores, y es por eso que ahora es un excelente momento para estar en esta área", dijo. "Estamos muy contentos de poner en marcha este proceso".

La hoja de ruta de Google para TensorFlow Lite en microcontroladores incluye código abierto de algunas de las demostraciones de Google, trabajar con proveedores de chips para optimizar kernels, optimizar el uso de memoria de TensorFlow Lite para ejecutar modelos más sofisticados en los mismos dispositivos y habilitar más plataformas de desarrollo (SparkFun Edge es el único placa admitida hasta ahora, pero la compatibilidad con placas Arduino y Mbed llegará pronto).

Dispositivos especializados
Martin Croome, vicepresidente de desarrollo empresarial de GreenWaves Technologies, presentó el caso de los procesadores de aplicaciones de bajo consumo especializados para ML. Croome estuvo de acuerdo en que el debate de la industria sobre cómo proceder con el aprendizaje automático de potencia ultrabaja estaba retrasado.

"Necesitamos desesperadamente más atención en esta área, tanto desde la perspectiva algorítmica como también desde nuestro mundo [hardware]", dijo.

GreenWaves ha desarrollado un procesador de aplicaciones RISC-V, GAP8, que se centra en la inferencia en dispositivos periféricos que consume milivatios de potencia y ofrece corrientes de espera ultrabajas. La empresa tiene como objetivo los dispositivos que funcionan con baterías, así como los dispositivos que utilizan la recolección de energía (lea más sobre cómo funciona el chip de GreenWaves en nuestro artículo anterior).

El acelerador de aprendizaje automático de energía ultrabaja de GreenWaves tiene nueve núcleos RISC-V (Imagen:GreenWaves Technologies)

Se utilizan diversas técnicas para reducir el consumo de energía. Esto incluye la paralelización, aunque no para acelerar las cosas; Se utilizan 8 núcleos para permitir una velocidad de reloj más lenta, lo que permite que el voltaje del núcleo caiga, lo que ahorra energía (en la práctica, la frecuencia del reloj se ajusta dinámicamente, según la carga de trabajo).

El chip está orientado a redes neuronales convolucionales (CNN), con un acelerador de hardware que realiza una convolución de 5 × 5 en datos de 16 bits en un solo ciclo de reloj (sin incluir la reescritura). La gestión de memoria explícita se basa en la naturaleza de las CNN, que se utilizan ampliamente para el procesamiento de imágenes; Los sensores de imagen tienen un tamaño fijo, la inferencia requiere el mismo número de pesos y el resultado es siempre el mismo tamaño. Por lo tanto, una herramienta puede generar código para todo el movimiento de datos en el momento de la compilación.

Croome reconoció que especializarse lo suficiente para procesar de manera eficaz las cargas de trabajo de aprendizaje automático y, al mismo tiempo, mantener la flexibilidad suficiente para responder a los avances tecnológicos es un equilibrio complicado.

“El alcance de la IA avanza a un ritmo increíblemente rápido. La gran idea de hoy sobre cómo hacer las cosas probablemente no sea la gran idea de mañana ", dijo Croome. “Si nos especializamos demasiado, seremos excelentes para acelerar lo que todos estaban haciendo el año pasado, lo cual no es bueno para una empresa. Por eso, estamos tratando de equilibrar la diferencia entre flexibilidad, capacidad de programación y aceleración ”.

El chip de GreenWaves ha estado probando durante un año, la producción comenzará este mes y se enviará en volumen a los clientes a fines del tercer trimestre, dijo Croome.

Las reuniones de TinyML se llevan a cabo el último jueves de cada mes en el Área de la Bahía y están abiertas a asistentes tanto de la industria como del mundo académico.