Pines del sistema de ultra bajo consumo que AI espera en TinyML

SUNNYVALE, California - Un grupo de casi 200 ingenieros e investigadores se reunieron aquí para discutir la formación de una comunidad para cultivar el aprendizaje profundo en sistemas de energía ultrabaja, un campo al que llaman TinyML. En presentaciones y diálogos, lucharon abiertamente para controlar una rama aún inmadura del área de movimiento más rápido de la tecnología con la esperanza de habilitar una nueva clase de sistemas.

"No hay escasez de ideas asombrosas", dijo Ian Bratt, miembro de aprendizaje automático de Arm, al iniciar una discusión.

“Hace cuatro años, las cosas se estaban volviendo aburridas, y luego apareció el aprendizaje automático con nuevos formatos de punto flotante y técnicas de compresión; es como volver a ser joven. Pero hay una gran escasez de formas de utilizar estas ideas en un sistema real para ganar dinero ", dijo Bratt.

“El ecosistema de software es un salvaje oeste total. Está tan fragmentado y es una especie de apropiación de tierras con Amazon, Google, Facebook y otros impulsando sus marcos ... Entonces, ¿cómo puede un ingeniero de hardware obtener algo que muchas personas puedan usar? ”, Preguntó.

Un ingeniero de STMicroelectronics estuvo de acuerdo.

“Me acabo de dar cuenta de que hay al menos cuatro compiladores para IA, y los nuevos chips no serán utilizados por el diseñador integrado tradicional. Por lo tanto, necesitamos estabilizar las interfaces de software e invertir en interoperabilidad; un comité de estándares debería trabajar en interfaces comunes ”, sugirió el ingeniero de STM.

Puede que sea demasiado pronto para los estándares de software, dijo Pete Warden, copresidente del grupo TinyML y líder técnico de TensorFlow Lite de Google, un marco que apunta a entornos móviles e integrados.

“Culpamos a los investigadores que cambian constantemente las operaciones y arquitecturas. Todavía están descubriendo cosas sobre pesos, compresión, formatos y cuantificación. La semántica sigue cambiando y tenemos que seguirles el ritmo ”, dijo Warden.

“En los próximos años, no hay futuro para los aceleradores que no ejecutan computación de propósito general para manejar una nueva operación o función de activación porque dentro de dos años es probable que las personas traigan diferentes operaciones a la mesa”, agregó.

Un investigador de Microsoft AI estuvo de acuerdo. “Estamos muy lejos de donde pensamos que deberíamos estar, y no llegaremos allí en uno o dos años. Esta fue la razón por la que Microsoft invirtió en FPGA ”para acelerar sus servicios en la nube Azure. "Necesitamos construir las capas de abstracción adecuadas para permitir la innovación de hardware ... y si hubiera un acelerador de hardware de código abierto, podría ayudar", agregó.

"Quizás un estándar de cumplimiento es el primer paso, por lo que las investigaciones obtienen la misma experiencia en el borde que en la nube", sugirió Bratt of Arm.

"Necesitamos especificaciones funcionales sólidas para cualquier nivel en el que viva. Si las tenemos en niveles suficientes, le dará a las personas un punto de entrada a otras capas, y este grupo es el mejor para abordar su definición", dijo Naveen Verma, un Profesor de Princeton cuya investigación se centra en procesadores de inteligencia artificial en memoria.