Los proveedores de la nube citan el rol a medida que la inferencia de IA se mueve al borde

Realizar inferencias de IA en dispositivos de borde integrados es atractivo en situaciones en las que se requiere baja latencia o donde los volúmenes de datos recopilados en el borde costarían demasiado para enviarlos a la nube. Los avances en aceleradores de aprendizaje automático dedicados, microcontroladores de última generación y modelos y software de IA significan que se pueden hacer más inferencias de IA con presupuestos de potencia de vanguardia que nunca. Sin embargo, incluso cuando toda la inferencia se realiza en el borde, la nube sigue siendo una herramienta útil para administrar dispositivos en el campo, dicen los proveedores de la nube.

AWS IoT

En Embedded World Digital 2021, los proveedores de nube AWS y Microsoft presentaron sus soluciones de ecosistema para dispositivos de inteligencia artificial de borde.

“Ejecutar TensorFlow Light o modelos de aprendizaje automático en los propios dispositivos es una capacidad”, dijo Rajeev Muralidhar, arquitecto principal de soluciones especializadas en AWS. “Pero la capacidad de crear una canalización completa para el ciclo de vida del dispositivo de manera segura, administrándolos a escala, la capacidad de implementar actualizaciones formales en los dispositivos para que pueda administrar las versiones que se ejecutan en ellos, proporcionar más funciones y más seguras, y también la capacidad de actualizar los modelos de AA que se ejecutan allí:esta es otra capacidad importante ".

AWS proporciona una infraestructura para esto a través de su plataforma AWS IoT. Esta plataforma, dijo Muralidhar, comprende tres partes clave:software del lado del dispositivo (FreeRTOS o AWS Greengrass), componentes de control y conectividad (AWS IoT Core) y servicios de análisis.

AWS ofrece soporte para dispositivos de inteligencia artificial a través de su plataforma IoT (Imagen:AWS)

FreeRTOS es un sistema operativo de código abierto ampliamente utilizado para dispositivos a nivel de microcontrolador. Viene con soporte a largo plazo (RTS), que garantiza actualizaciones de seguridad, actualizaciones de funciones y corrección de errores durante dos años. También viene con capacidades para realizar actualizaciones inalámbricas de forma segura e implementar firmware en los dispositivos a escala que se han implementado en el campo. El kernel de FreeRTOS puede comunicarse directamente con una puerta de enlace de dispositivo que puede estar ejecutando AWS Greengrass.

AWS IoT Core es el punto de entrada de datos a la nube. Incluye un agente de mensajes que puede promulgar reglas sobre los datos, ya sea para almacenarlos o moverlos a una base de datos o un panel para su análisis, como SageMaker para análisis de aprendizaje automático.

La plataforma AWS IoT también tiene componentes para la administración de flotas a gran escala, administración de dispositivos y análisis de IoT, así como una capacidad de administración de eventos que puede automatizar la detección y respuesta a eventos provenientes de sus dispositivos de IoT.

"La administración del ciclo de vida de los dispositivos de un extremo a otro es crucial cuando se piensa en dispositivos a escala, y la capacidad de actualizar el sistema operativo subyacente de esos dispositivos también es crucial", dijo Muralidhar. "Quiere poder hacerlo de forma segura, quiere poder rotar las credenciales de seguridad para no comprometer la seguridad de su flota de dispositivos".

La situación ideal es enviar los datos entrantes a la nube para que pueda haber una evaluación y capacitación continuas, dijo Muralidhar.

“[Luego] cuando tiene modelos más nuevos actualizados que son más precisos, puede colocarlos en el dispositivo y desplegarlos en toda su flota de dispositivos en el taller industrial o en su flota de vehículos conectados”, dijo. "De esa manera, los dispositivos que se ejecutan en sus vehículos son más capaces y pueden reaccionar más rápido y con mayor precisión".

Azure Percept

En la feria, Microsoft también hizo presentaciones sobre su nuevo concepto Azure Percept. Azure Percept es una plataforma de hardware y software para la inteligencia artificial perimetral que aprovecha algunas de las ofertas en la nube de Azure, incluida la administración de dispositivos, el desarrollo de modelos de inteligencia artificial y el análisis. Las herramientas en la nube de Azure se utilizan para administrar dispositivos y acceder a modelos de inteligencia artificial de código abierto o crear nuevos.

La plataforma Azure Percept de Microsoft es tanto hardware como software. El hardware incluye un módulo de plataforma confiable (centro), un módulo de audio de Azure Percept (izquierda) y un módulo de Azure Percept Vision (derecha) (Imagen:Microsoft)

La empresa también lanzó un kit de desarrollo de hardware con dos módulos. El módulo Azure Percept Vision para la visión por computadora en el borde se basa en el acelerador de inteligencia artificial Movidius Myriad X de Intel. También hay un módulo de audio de Azure Percept, pero no hay detalles de ese módulo disponibles.

Con esta nueva oferta, Microsoft quiere proporcionar una solución de un extremo a otro que reduzca las barreras de entrada para los no especialistas. La idea es simplificar el desarrollo, la formación y la implementación de la inteligencia artificial perimetral.

Azure Percept también se conecta a Azure IoT Hub, diseñado para facilitar la comunicación segura entre los dispositivos de IoT y la nube de Azure.

En el futuro, Microsoft planea expandir la cantidad de dispositivos Azure Percept disponibles de terceros. Los desarrolladores que utilicen el kit de desarrollo de hardware actual podrán implementar su solución en dispositivos certificados por Percept disponibles en el mercado.

>> Este artículo se publicó originalmente el nuestro sitio hermano, EE Times Europe.