El sistema de doble cámara monitorea el conductor y la carretera con un solo AI SoC

La nueva cámara para salpicadero de KeepTruckin, basada en el sistema CV22 de Ambarella en un chip, usa IA para monitorear a los conductores de camiones y otros vehículos comerciales.

Los sistemas de monitoreo de conductores se han convertido en una parte esencial de la conversación sobre seguridad automotriz. Si bien gran parte de la discusión sobre el monitoreo de conductores se ha centrado en su uso para personas en automóviles de pasajeros, existe un gran mercado en el sector de vehículos comerciales para monitorear a los conductores en sus camiones para garantizar la seguridad y tratar de prevenir accidentes, así como para habilitar a los administradores de flotas. para evaluar el riesgo y reducir los costos del seguro.

Al servicio de este mercado, la empresa de tecnología de gestión de flotas KeepTruckin dijo esta semana que se asoció con la firma de sistemas de visión en chip (SoC) de inteligencia artificial (AI) de vanguardia Ambarella para desarrollar su nueva cámara de salpicadero del mercado de accesorios para vehículos comerciales más grandes. La nueva cámara para salpicadero utiliza un único SoC Ambarella CV22 para proporcionar simultáneamente inteligencia artificial y procesamiento de imágenes para su sistema de doble cámara, que integra una cámara para el sistema de asistencia al conductor avanzado (ADAS) frontal con grabación de incidentes, y una segunda cámara RGB-IR para el sistema de monitoreo de controladores (DMS) con grabación de controladores.

La especificación de rendimiento por vatio del CV22 también permite que la pequeña cámara de salpicadero de IA ejecute los algoritmos de IA patentados de KeepTruckin para la detección de comportamientos de alto riesgo en tiempo real y advertencias activas directamente en el dispositivo con una disipación de calor mínima.

EE Times habló con ejecutivos de KeepTruckin y Ambarella para obtener más información sobre el desarrollo del producto. Jai Ranganathan, vicepresidente senior de productos en KeepTruckin, dijo:“La seguridad del conductor se ha vuelto más importante que nunca, especialmente porque hay más litigios contra los operadores comerciales. Entonces, el concepto de dashcams se ha vuelto muy popular. Nos asociamos con Ambarella para desarrollar nuestra cámara para salpicadero de próxima generación. Una métrica clave para nosotros cuando miramos su chip es la inferencia por Watt; el desempeño en relación con el costo también fue importante. Necesitábamos hacer cosas como la detección de profundidad con una sola lente, lo que puede ser difícil ”.

Dijo que todo el proceso, desde el inicio hasta el lanzamiento de la cámara para salpicadero hoy, tomó alrededor de 18 meses. “El factor más importante para nosotros [para permitir este rápido tiempo de comercialización] fue tener un socio que pudiera ayudar con todo el proceso de desarrollo. De lo contrario, no habría sido factible llegar al mercado tan rápido ".

El director de producto de KeepTruckin, Abhishek Gupta, agregó:"El soporte para desarrolladores fue extremadamente beneficioso, especialmente porque lo construimos durante una pandemia cuando muchas personas trabajaban de forma remota".

Ranganathan dijo que la cámara para salpicadero con IA de KeepTruckin aprovecha el rendimiento de procesamiento de visión y la IA de vanguardia de Ambarella para ofrecer funciones avanzadas basadas en IA que detectan comportamientos de alto riesgo con alta precisión y eficiencia. "Nuestra innovación continua en la gestión de flotas está habilitada por la gama escalable de SoC de visión CVflow AI de Ambarella, que están respaldados por un SDK común y robusto, lo que permite un enfoque de plataforma para el desarrollo de nuestros productos".

Al brindar la perspectiva del analista, Ian Riches, vicepresidente de práctica automotriz y director de Strategy Analytics, comentó:“La selección de SoC Ambarella de KeepTruckin para su nueva AI Dashcam le brinda una plataforma poderosa, rentable y eficiente sobre la cual construir. El ecosistema de Ambarella le brinda las herramientas necesarias para desarrollar soluciones de inteligencia artificial personalizadas que beneficiarán a los clientes de su flota ".

Las funciones ADAS delanteras habilitadas por el CV22 incluyen advertencias de seguimiento cercano, salidas de carril, colisiones frontales, exceso de velocidad e infracciones de tránsito. Usando el mismo SoC, ejecutando múltiples modelos de redes neuronales simultáneas, las capacidades de DMS de la cámara en la cabina incluyen monitoreo de la fatiga del conductor, distracción y violaciones de políticas, como el uso contextual del teléfono celular o monitoreo del cinturón de seguridad, en combinación con datos de la cámara frontal.

La AI Dashcam está conectada a KeepTruckin Vehicle Gateway, que carga los datos, videos e imágenes fijas previamente analizados al software de administración de flotas basado en la nube de KeepTruckin en tiempo real. El CV22 SoC integra el procesador de señal de imagen de Ambarella, que proporciona videos HDR de alta calidad con resolución de 1440p en todas las condiciones de iluminación, mientras utiliza su codificación en chip H.264 / H.265 para reducir el ancho de banda de transmisión y los costos de almacenamiento.

KeepTruckin puede cargar funciones adicionales al CV22 a lo largo del tiempo, a través de actualizaciones de software inalámbricas, para brindar valor incremental a los clientes que invierten en la plataforma. Además, el entrenamiento del modelo de KeepTruckin se vuelve cada vez más preciso debido a que su equipo de seguridad interno evalúa la calidad en tiempo real, agrega un contexto de riesgo adicional y proporciona información que hace que el entrenamiento del modelo y los ciclos de desarrollo sean más cortos.

Udit Budhia, director de marketing de Ambarella, dijo:“Para el mercado secundario, este es probablemente el producto de visión de inteligencia artificial más sofisticado para la automoción. Hemos visto un rápido crecimiento de los sistemas de advertencia ADAS, como las advertencias de cambio de carril ". Hablando sobre el beneficio del CV22 SoC en esta aplicación, agregó, “Un componente clave es el procesador de señal de imagen (ISP). Admitimos varios tipos de sensores, incluidos RGGB, RGB-IR, monocromo, RCCB y RCCC, y admitimos el procesamiento HDR. Podemos detectar objetos en la escena y también tener un filtrado de poca luz, lo que da como resultado menos ruido y, por lo tanto, un procesamiento de video más eficiente. Usamos menos ancho de banda y significativamente menos DRAM ".

Sobre las herramientas, Budhia dijo:"Nuestra herramienta permite el desarrollo de cámaras de monitoreo frontal y del conductor al mismo tiempo". La capacidad de programación y la eficiencia de la arquitectura CVflow AI de Ambarella permite un rendimiento significativo de la visión por computadora con un consumo de energía muy bajo, lo que aumenta la confiabilidad y la eficiencia para ejecutar más modelos en paralelo, lo que genera una mayor detección y visibilidad en todas partes. Su conjunto completo de herramientas CV ayuda a clientes como KeepTruckin a portar sus propias redes neuronales e incluye soporte para marcos de aprendizaje automático estándar de la industria como PyTorch, ONNX, Caffe y TensorFlow.

>> Este artículo se publicó originalmente en nuestro sitio hermano, EE. Tiempos.

Contenidos relacionados:

• Los sistemas de monitoreo del conductor basados ​​en la visión ganan terreno
• Romper los conceptos erróneos sobre los sistemas de monitoreo de conductores
• ¿Es útil el sistema de numeración de la automatización del vehículo?
• Los sensores de imagen ofrecen imágenes en cabina más nítidas
• Las tecnologías clave que nos acercan a la movilidad sin conductor

Para obtener más información sobre Embedded, suscríbase al boletín informativo semanal por correo electrónico de Embedded.