Subiendo a un nuevo nivel de IA de borde

La fase evolutiva de las tecnologías es un lugar familiar, y la IA, la tecnología principal de los últimos años, no es diferente. En IA, las nuevas generaciones agregan más MAC, múltiples capas de cuantificación, esta característica, esa característica, todo para perseguir TOPS / Watt mejorados.

Hemos estado introduciendo con éxito soluciones de inteligencia artificial en el borde en varios mercados a través de nuestra plataforma CEVA NeuPro dentro de este entorno. Ahora, los usuarios quieren más, pero a veces la evolución por sí sola no es suficiente.

Al principio, los usuarios pusieron énfasis en la facilidad de uso para ayudarlos a presentar esta nueva tecnología de inteligencia artificial en el borde. Pero a medida que se profundiza su experiencia en técnicas avanzadas de inteligencia artificial, quieren tener acceso a todas las formas posibles de crear diferenciación en sus productos y superar los enfoques actuales del estado de la técnica en un orden de magnitud. Llegar allí rápidamente no es posible a través de la evolución; son necesarias mejoras revolucionarias. Lo que quieren ha cambiado de la facilidad de uso a la máxima flexibilidad algorítmica con un rendimiento máximo y una potencia mínima.

Midiendo

TOPS / W es un buen número de marketing, pero es demasiado tosco para ser útil en aplicaciones reales. En inferencia visual, por ejemplo, los fotogramas por segundo por vatio (FPS / W) es una métrica mucho más significativa. El valor de una buena puntuación en este contexto es fácil de entender. Detectar un peatón o un automóvil delante o un automóvil que pasa por detrás requiere una respuesta rápida. Hay poco tiempo para frenar o alejarse y ninguna acción es instantánea. Un motor de inferencia debe ser capaz de gestionar un mínimo de 100 FPS, con la potencia más baja posible porque este es solo uno de los muchos sistemas de sensores / IA que existen en el automóvil. Eso exige fps / W mucho más altos para una potencia competitiva.

La oportunidad de mercado es incuestionable. Se espera que las aplicaciones automotrices y de telecomunicaciones sean las que más contribuyan a este crecimiento, y en la industria automotriz, las imágenes inteligentes siguen siendo sólidas. Por cierto, también lo hace la tendencia de "muchas cámaras" en los teléfonos móviles. De hecho, la canalización de imágenes en tales cámaras ha comenzado a reemplazar los algoritmos convencionales con redes neuronales para eliminar el ruido, estabilizar la imagen, superresolución y otras funciones novedosas, todas funcionando a 60 fps en una envolvente de energía muy restringida.

Qué requiere un avance importante

Están sucediendo algunas cosas interesantes en torno a la IA analógica y las redes neuronales de punta, pero los fabricantes de productos no quieren alejarse demasiado de lo que están seguros que pueden escalar al volumen actual. Esa restricción aún deja mucho potencial de algoritmos, pero ahora los creadores de productos quieren acceder a todos esos algoritmos con mucha más flexibilidad para obtener el máximo rendimiento con la mínima potencia.

La lista de posibilidades de optimización es larga:una amplia gama de opciones de cuantificación, compatibilidad con winograd, optimización de escasez para omitir multiplicaciones por cero, diversidad de tipos de datos en la activación y pesos en un rango de tamaños de bits, capacidad de procesamiento de vectores en paralelo con multiplicaciones neuronales, compresión de datos para reducir el tiempo de carga de pesos y activaciones, soporte de descomposición de matrices, entrega de una aceleración de hasta 50:1 sobre una red de referencia y arquitecturas NN de próxima generación, como transformadores y soporte de convolución 3D.

Un llamado a la acción

Los creadores de productos, ahora con más experiencia en IA, saben lo que quieren construir y cómo hacerlo. Lo que necesitan es una plataforma que ofrezca todos los algoritmos de componentes de la red neuronal que ya comprenden, para construir la solución óptima para su producto.

Esta es una lista de ensueño de algoritmos y optimizaciones para ofrecer la verdadera capacidad de avance, el rendimiento y el bajo consumo que necesita la inteligencia artificial avanzada. ¿Pero por qué solo un sueño? Los creadores de productos avanzados ya no están satisfechos con las mejoras incrementales en IA. Ahora esperan plataformas alineadas con su comprensión mucho mejor de las posibilidades.

Para obtener más información sobre el trabajo de CEVA en Edge AI, haga clic AQUÍ.