Comunidad TinyML apunta a IA de 1 mW para dispositivos edge

Cuando el grupo TinyML convocó su reunión inaugural, el primer punto del orden del día fue una pregunta simple: ¿Qué es exactamente TinyML?

TinyML es una comunidad de ingenieros dedicada a hacer que machine learning (ML) funcione en dispositivos de ultra-bajo consumo. La reunión inicial se centró en si ML puede implementarse en microcontroladores y si procesadores ML especializados de bajo consumo son necesarios.

Evgeni Gousev de Qualcomm AI Research definió TinyML como técnicas ML que consumen 1 mW o menos. Llamó a 1 mW el "número mágico" para aplicaciones always-on en smartphones.

"Mientras el ML en la nube domina la conversación, el ML en el dispositivo se vuelve cada vez más sofisticado", señaló Gousev. "Pero el 90 % de los datos se origina en el mundo real. ¿Cómo fusionamos todas las cámaras, IMUs y otros sensores y ejecutamos ML localmente?"

"TinyML va a ser grande, y hay una necesidad urgente de construir todo el ecosistema —aplicaciones, software, herramientas, algoritmos, hardware, ASICs, dispositivos, fabs y más", añadió Gousev.

Ingeniero de Google Nat Jefferies presenta en el primer meetup TinyML (Imagen: TinyML)

TensorFlow Lite

El ingeniero de Google Daniel Situnayake presentó TensorFlow Lite, una versión ligera de TensorFlow adaptada para dispositivos edge, incluyendo microcontroladores.

"TensorFlow Lite ha servido a móviles por años, y ahora estamos emocionados de llevarlo a dispositivos aún más pequeños", dijo.

Tras entrenar un modelo en TensorFlow, los ingenieros lo convierten a TensorFlow Lite, que reduce el modelo, aplica cuantización y lo optimiza para ajustarse cómodamente al hardware objetivo.

Una estrategia de ahorro de energía que describió es encadenar modelos juntos.

"Imagina una cascada de clasificadores: un modelo diminuto de bajo consumo primero detecta si hay sonido, luego un modelo ligeramente mayor determina si es habla humana, y finalmente una red más profunda se activa solo cuando se cumplen esas condiciones", explicó Situnayake. "Despertando el modelo intensivo en energía solo cuando es necesario, logramos ahorros sustanciales de energía."

Cascada de modelos de machine learning puede ayudar a ahorrar energía (Imagen: Google)

Nat Jefferies, miembro del equipo "TensorFlow Lite for microcontrollers" de Google, destacó la creciente demanda de presupuestos energéticos estrictos en dispositivos de consumo que cuentan con sensores sofisticados pero aún dependen de baterías duraderas o recolección de energía.

"TinyML —deep learning en microcontroladores— es la clave", dijo. "Nos permite procesar datos de sensores localmente con ciclos mínimos de CPU y lecturas de sensores, evitando el coste energético de transmisión off-chip. TinyML puede destilar datos brutos de sensores en unos pocos bytes, y luego transmitir solo esa carga útil comprimida."

Citó un reciente reto de Google que atrajo envíos impresionantes para modelos de 250 kB capaces de detección de personas, confirmando la viabilidad de este enfoque.

"Ahora podemos reducir modelos TensorFlow al punto donde caben en microcontroladores, haciendo este un momento oportuno para entrar en el espacio", concluyó Jefferies.

La hoja de ruta de Google para TensorFlow Lite en microcontroladores incluye abrir código de proyectos demo, colaborar con proveedores de chips para optimizar kernels, reducir uso de memoria para ejecutar modelos más complejos, y expandir soporte de plataformas —SparkFun Edge es la primera placa, con soporte Arduino y Mbed en el horizonte.

Dispositivos Especializados

Martin Croome, VP Desarrollo de Negocio en GreenWaves Technologies, argumentó a favor de procesadores ML especializados de bajo consumo.

"Necesitamos un enfoque más claro en ML ultra-bajo consumo desde perspectivas algorítmica y de hardware", dijo Croome.

El procesador de aplicación RISC-V de GreenWaves, el GAP8, apunta a inferencia en dispositivos edge con consumo de milli-vatio y corrientes de standby ultra-bajas. El chip está diseñado para dispositivos operados por batería y los que recolectan energía.

Acelerador ML ultra-bajo consumo de GreenWaves con nueve núcleos RISC-V (Imagen: GreenWaves Technologies)

Para mantener consumo bajo, el GAP8 emplea paralelismo no para velocidad sino para permitir frecuencia y voltaje de reloj más bajos. El acelerador de hardware del chip puede realizar una convolución 5×5 en datos de 16 bits en un solo ciclo. Como las redes neuronales convolucionales (CNNs) usan entradas y pesos de tamaño fijo, la gestión de memoria puede determinarse en tiempo de compilación, reduciendo aún más overhead en runtime.

Equilibrar especialización con flexibilidad es un desafío. "La IA evoluciona rápido. Lo que es vanguardia hoy puede ser obsoleto mañana", advirtió Croome. "Debemos evitar sobre-especializarnos, para permanecer ágiles y adaptarnos a futuras innovaciones."

El GAP8 ha estado en muestreo por un año; la producción comienza este mes, con envíos de volumen previstos para finales de Q3.

Los meetups TinyML se celebran el último jueves de cada mes en el Área de la Bahía y dan la bienvenida a participantes de industria y academia por igual.