Adición de un ISP y aceleración de aprendizaje automático a la familia i.MX 8M

Descubra cómo el procesador de aplicaciones i.MX 8M Plus permite la informática de punta, acelerando el aprendizaje automático para una variedad de aplicaciones, incluidas las tareas industriales.

La computación en la nube, la computación en el borde y los sistemas basados ​​en visión se han apoderado de más y más sistemas industriales y de consumo por igual. Además, muchos sistemas modernos emplean el aprendizaje automático y la inteligencia artificial para mejorar la experiencia del usuario. Este enfoque a menudo requiere que los diseñadores de sistemas integrados utilicen una variedad de diferentes SoC y procesadores especializados para realizar todas estas tareas.

Sin embargo, NXP decidió adoptar un enfoque diferente y combinaron un procesador de señal de imagen (ISP), una unidad de procesamiento neuronal (NPU) para la aceleración del aprendizaje automático y una MPU, todo en un solo dispositivo:el avanzado i.MX 8M Plus. procesador de aplicaciones.

Figura 1. Procesador de aplicaciones i.MX 8M Plus.

Computación en la nube frente a Computación en el borde

Se requiere algo de contexto para comprender por qué el procesador de aplicaciones i.MX 8M Plus ofrece soluciones poderosas para la informática de punta.

La computación en la nube se refiere a la disponibilidad bajo demanda de los recursos del sistema informático fuera de los límites de la red del usuario. Estos recursos pueden ser de cualquier tipo. Sin embargo, normalmente se utilizan para realizar tareas exigentes y para el almacenamiento de datos.

A menudo, los centros de datos basados ​​en la nube no son exclusivos de un solo usuario u organización. En cambio, los recursos se comparten entre todos los usuarios. Por lo general, los servicios de nube pública utilizan un modelo de pago por uso, lo que significa que el costo puede aumentar rápidamente si se cargan datos innecesarios o ruidosos para su procesamiento en la nube.

Ahí es donde la computación en el borde puede resultar útil. La computación perimetral coloca algunos recursos entre los usuarios y la nube dentro de los límites de su red. Sin embargo, por lo general, no todos los cálculos se realizan en el borde. En cambio, los recursos en el borde se utilizan para filtrar datos y descartar elementos no deseados antes de que se carguen en la nube y generen costos innecesarios. A menudo, el aprendizaje automático y la inteligencia artificial se utilizan para categorizar automáticamente los resultados y solo cargar información relevante en la nube.

Sin embargo, también es posible omitir la nube por completo y ejecutar toda la inferencia de aprendizaje automático localmente en un procesador de borde, por ejemplo, el procesador de aplicaciones i.MX 8M Plus, que viene con algunas ventajas.

Beneficios potenciales de usar Edge Computing sobre Cloud Computing

La computación de borde (como la proporcionada por el i.MX 8M Plus) ofrece una serie de posibles ventajas sobre la computación en la nube que vale la pena considerar más de cerca.

Además del factor de costo, la reducción de los datos que se cargan en la nube también reducirá el tráfico general de la red, lo que puede acelerar otras aplicaciones que dependen de la red. Esto no solo aumenta la eficiencia de las tareas a las que se dedica específicamente el procesador, sino que también libera recursos críticos para otras actividades y prioridades auxiliares.

A continuación, ejecutar la inferencia localmente significa que la aplicación puede continuar funcionando incluso cuando el servicio en la nube está fuera de línea o cuando la conexión de red se interrumpe. Este podría ser un factor importante, especialmente para casos de uso críticos para la seguridad, pero también para otras aplicaciones conectadas, como dispositivos de seguridad para el hogar.

Además, esta solución proporciona una mejor latencia y tiempos de respuesta más cortos en comparación con la utilización de un servicio en la nube. La baja latencia es importante, por ejemplo, cuando se realiza una inspección visual en el piso de la fábrica y otras aplicaciones de tiempo crítico.

Finalmente, la privacidad del usuario es otro factor a considerar. Cada servicio externo es un riesgo de seguridad potencial cuando se trata de datos confidenciales. Por lo tanto, mantener la información importante dentro de los límites de la red del usuario puede aumentar la seguridad de toda la aplicación. Esto no solo es importante para los usuarios industriales, sino que también es fundamental para los usuarios privados y los clientes por igual, cuando, por ejemplo, se utiliza un asistente de voz o cuando se trabaja con archivos de imagen y vídeo personales.

¿Cuánto rendimiento de aprendizaje automático se necesita?

Con la computación en la nube, el rendimiento del aprendizaje automático no suele ser un problema ni un factor limitante. Sin embargo, al realizar estas operaciones en el borde, la pregunta es cuánta potencia se necesita. Una forma popular de medir el rendimiento del aprendizaje automático es TOPS, que es un acrónimo de billones (tera) de operaciones por segundo y, como su nombre lo indica, se refiere al número de operaciones (generalmente de multiplicación o acumulación de enteros de 8 bits) por segundo. . Sin embargo, el rendimiento general del sistema dependerá de muchos más factores. No obstante, TOPS se sigue utilizando a menudo para comparar rápidamente el rendimiento de los sistemas de aprendizaje automático.

El reconocimiento de voz completo (no solo la detección de palabras clave) en el borde requiere un rendimiento del sistema de aproximadamente uno o dos TOPS. El requisito real depende en gran medida del algoritmo empleado y de si es vital comprender lo que dice el usuario. La detección de objetos a 60 cuadros por segundo, como otro ejemplo, toma alrededor de dos a tres TOPS cuando se usa un algoritmo como Yolov3.

Debido a que el procesamiento y el aprendizaje automático en el borde se vuelven cada vez más relevantes, NXP agregó un acelerador de aprendizaje automático con un rendimiento de alrededor de 2.3 TOPS al procesador de aplicaciones i.MX 8M Plus, lo que lo hace bien equipado para diversas tareas industriales y muchas otras. aplicaciones sin la necesidad de emplear servicios externos basados ​​en la nube.

Figura 2. El procesador de aplicaciones i.MX 8M Plus está bien equipado para diversas tareas industriales que utilizan servicios externos basados ​​en la nube.

El i.MX 8M Plus está listo para sistemas basados ​​en visión integrados

Hasta ahora, este artículo mencionó varios ejemplos de aplicaciones que requieren una cámara para funcionar. Uno de ellos fue un sistema basado en visión que descarta las piezas defectuosas al final de una línea de producción después de una inspección óptica automatizada. Todos estos sistemas requieren información visual, por ejemplo, imágenes de una cámara. La funcionalidad ISP existe en todos los sistemas basados ​​en cámaras. A menudo, el procesador de señales de imagen está presente en un dispositivo externo, como la propia cámara, y oculto para el usuario. Estos ISP normalmente se encargan de algunas tareas diferentes de optimización y filtrado de imágenes.

En muchos casos, uno puede salirse con la suya sin usar un ISP dedicado, por ejemplo, cuando se usa una cámara web USB simple. Entonces, el ISP generalmente ya está integrado en la cámara, que realizará todas las conversiones necesarias sin que el usuario se dé cuenta.

Sin embargo, estos ISP tienen sus limitaciones y, por lo general, funcionan bien para resoluciones de hasta dos megapíxeles. Además, la falta de control sobre el ISP, la complejidad adicional y el consumo de energía adicional pueden ser problemáticos en algunos casos.

Cuando se requiere una resolución de imagen superior a 2MP (1080p), el diseñador de sistemas integrados puede utilizar un ISP externo, lo que, a su vez, aumentaría la complejidad general y el consumo de energía del sistema. Alternativamente, el diseñador podría usar un procesador de aplicaciones con un ISP integrado, como el i.MX 8M Plus. Este enfoque ofrece una solución de imagen optimizada, particularmente a 2 megapíxeles y resoluciones más altas, sin aumentar la complejidad del sistema.

Resumen

La computación perimetral tiene algunos beneficios atractivos sobre la computación en la nube y tiene el potencial de cambiar la forma en que trabajaremos, viviremos y pasaremos el tiempo libre en el futuro. Algunos de los beneficios incluyen mayor confiabilidad, escalabilidad y seguridad, y menor latencia.

Con el procesador de aplicaciones i.MX 8M Plus, NXP ha combinado dos factores que permiten aplicaciones modernas en el borde. Esta nueva MPU fomentará el desarrollo de numerosos dispositivos industriales innovadores y productos a nivel de consumidor. Incluye un ISP para construir sistemas modernos basados ​​en visión que requieren datos de entrada de alta resolución.

La información de la imagen del ISP se puede introducir directamente en la NPU incorporada para permitir aplicaciones de alta velocidad que dependen de los datos de la imagen mientras se mantiene la CPU libre para otras tareas. Además, el procesador de aplicaciones i.MX 8M Plus ofrece algunas otras características que vale la pena ver, por ejemplo, un controlador Ethernet con redes sensibles al tiempo, un controlador DRAM que admite ECC y una variedad de núcleos diferentes para una variedad de aplicaciones.

Con el procesador de aplicaciones i.MX 8M Plus, las posibilidades para aplicaciones periféricas basadas en visión de alta potencia son casi infinitas, ya sea para un centro de hogar inteligente, controles de edificios inteligentes o aplicaciones industriales.

Los artículos de la industria son una forma de contenido que permite a los socios de la industria compartir noticias, mensajes y tecnología útiles con los lectores de All About Circuits de una manera que el contenido editorial no es adecuado. Todos los artículos de la industria están sujetos a estrictas pautas editoriales con la intención de ofrecer a los lectores noticias útiles, experiencia técnica o historias. Los puntos de vista y las opiniones expresados ​​en los artículos de la industria son los del socio y no necesariamente los de All About Circuits o sus redactores.