Renesas y Syntiant ofrecen una solución conjunta de IA de visión controlada por voz

Renesas Electronics Corporation y Syntiant Corp., un proveedor de procesamiento de sensores y voz inteligente de bajo consumo en dispositivos periféricos, han desarrollado conjuntamente una solución de inteligencia artificial (IA) multimodal controlada por voz para permitir la operación sin contacto de bajo consumo para el procesamiento de imágenes en visión integrada. Internet de las cosas (IoT) y sistemas periféricos basados ​​en inteligencia artificial.

La nueva solución combina la unidad de microprocesador (MPU) de IA de visión de la serie Renesas RZ / V y el procesador de decisión neuronal Syntiant NDP120 multimodal de baja potencia para ofrecer capacidades avanzadas de procesamiento de voz e imagen en aplicaciones como máquinas de autopago, cámaras de seguridad, video sistemas de conferencias y electrodomésticos inteligentes, como dispositivos de limpieza robóticos.

La solución conjunta presenta una funcionalidad siempre activa con activación rápida activada por voz desde el modo de espera para realizar el reconocimiento de objetos, el reconocimiento facial y otras tareas basadas en la visión que son funciones críticas en las cámaras de seguridad y otros sistemas. Por ejemplo, mientras que las señales de voz definidas por el usuario impulsan la activación y el funcionamiento del sistema, el reconocimiento de inteligencia artificial visual rastrea el comportamiento del operador y controla el funcionamiento o emite una advertencia cuando se detectan acciones sospechosas.

La arquitectura multimodal facilita la creación de experiencias de usuario sin contacto para sistemas basados ​​en IA de visión. El uso de un chip dedicado y de bajo consumo para el reconocimiento de voz reduce el consumo de energía en espera al tiempo que acelera el desarrollo del sistema porque es posible desarrollar software independientemente de la funcionalidad de IA de visión.

La MPU de la serie RZ / V de Renesas incorpora el acelerador DRP-AI (procesador-AI dinámicamente reconfigurable) de Renesas y combina la inferencia de AI de alta precisión con una eficiencia energética que, según Renesas, se encuentra entre las mejores de la industria. Este rendimiento energético superior elimina la necesidad de medidas de dispersión de calor como disipadores de calor o ventiladores de refrigeración, lo que reduce el costo de la lista de materiales (BOM) y hace posible integrar la IA de visión en una amplia gama de aplicaciones integradas. DRP-AI está compuesto por AI-MAC y DRP (procesador reconfigurable dinámicamente), que pueden procesar de manera eficiente las operaciones en capas convolucionales y combinadas optimizando el flujo de datos con conmutadores internos. El DRP puede procesar el procesamiento complejo, como el preprocesamiento de imágenes y las capas de agrupación de modelos de IA, de manera flexible y rápida, cambiando dinámicamente la configuración del hardware. El traductor DRP-AI proporcionado asigna automáticamente cada proceso del modelo AI a AI-MAC y DRP, lo que permite al usuario utilizar fácilmente DRP-AI sin conocer el hardware. Se pueden colocar múltiples ejecutables generados por el traductor DRP-AI en la memoria externa. Esto hace posible cambiar dinámicamente entre múltiples modelos de IA como un sistema. Además, el traductor DRP-AI se puede actualizar continuamente para admitir modelos de inteligencia artificial recientemente desarrollados sin cambios de hardware.

El chip Syntiant NDP120 incorpora sofisticadas capacidades de inteligencia artificial que se pueden utilizar para implementar muchas funciones de voz de manos libres de alta precisión, incluido el reconocimiento del hablante, la detección de palabras clave, varias palabras de activación y el reconocimiento de comandos locales. Empaquetado con el motor de inferencia de red neuronal Syntiant Core 2, el NDP120 también puede ejecutar múltiples aplicaciones simultáneamente mientras minimiza el consumo de energía a una batería de 1 mW.

Hablando en nombre de Renesas, Hiroto Nitta dijo:"Anticipamos que la demanda de sistemas multimodales que utilizan múltiples flujos de información de entrada, tanto de imagen como de voz, aumentará en el futuro como una forma de mejorar tanto la facilidad de uso como la seguridad". Nitta, vicepresidente senior y director de negocios de SoC en la unidad de negocios de infraestructura y IoT, agregó:“A través de la colaboración entre Renesas, líder en tecnología de inteligencia artificial de imágenes de bajo consumo, y Syntiant, líder en tecnología de inteligencia artificial de voz, lograremos acelerar la adopción de la tecnología de inteligencia artificial de voz inteligente ultrapequeña y de bajo consumo en sistemas integrados y ofrecer nuevas soluciones combinadas a los clientes de todo el mundo ”.

El CEO de Syntiant, Kurt Busch, dijo:“Las interfaces de usuario basadas en voz harán posible que los clientes brinden nuevas experiencias de usuario que lleven la próxima generación de ideas innovadoras del concepto a la realidad. Ya hemos enviado más de 15 millones de nuestros NDP de aprendizaje profundo a nivel mundial para habilitar la voz siempre activa en una amplia variedad de aplicaciones de IoT industriales y de consumo. Nuestra colaboración con Renesas ofrece una solución de voz e imagen poderosa y de bajo consumo que seguramente acelerará la tracción entre una base de clientes global en una variedad de dispositivos y casos de uso ”.

La nueva solución de inteligencia artificial multimodal controlada por voz utiliza múltiples dispositivos compatibles entre sí de la cartera más amplia de Renesas para proporcionar a los clientes una plataforma de prototipos elevada para un tiempo de comercialización más rápido y un riesgo reducido. La nueva solución es parte de las "combinaciones ganadoras" de Renesas, que cuentan con atractivas combinaciones de productos de procesamiento integrado, analógico y de potencia que ayudan a los clientes a acelerar sus diseños y llegar al mercado más rápido.

El diseño de referencia para la nueva solución de IA multimodal ya está disponible, incluidos diagramas de circuitos y listas de listas de materiales.