El procesador de visión AI permite video de 8K a 30 fps en menos de 2W

Utilizando CES 2021 como plataforma de lanzamiento, Ambarella ha anunciado su sistema de procesador de visión de inteligencia artificial (AI) de quinta generación en chip (SoC) que, según dijo, establece un nuevo estándar para la eficiencia energética. Su procesador CV5 AI Vision CVflow fabricado en un proceso avanzado de Samsung de 5nm permite la codificación de video completo de 8K a 30 cuadros por segundo en menos de 2 Watts, lo cual es importante para los sistemas de cámaras inteligentes en cámaras automotrices, de consumo (incluidos drones) y robóticas.

El nuevo CV5 combina el motor CVflow AI de Ambarella con CPU A76 de brazo doble para proporcionar el rendimiento necesario para una amplia gama de algoritmos basados ​​en AI. Al permitir la entrada de hasta 14 cámaras, el procesador de señal de imagen (ISP) puede procesar imágenes simultáneamente tanto para la visualización humana como para el procesamiento de la máquina. En una sesión informativa con embedded.com, Chris Day, vicepresidente de marketing y desarrollo comercial de Ambarella, dijo:“Esta es nuestra quinta generación de procesadores de imágenes, con procesamiento separado para video e inteligencia artificial. Es el primer chip de 5 nm, que permite un bajo consumo de energía, lo cual es fundamental para muchas aplicaciones, y especialmente en cámaras deportivas ".

Añadió:“Trabajamos en estrecha colaboración con la fábrica de Samsung y tenemos uno de los mejores equipos de diseño de VLSI de la industria. Esto significa que tenemos un buen acceso temprano a las bibliotecas de procesos como resultado de nuestra estrecha relación de trabajo con Samsung ”.

En aplicaciones de telemática de video automotriz, CV5 proporciona el rendimiento necesario para codificar múltiples transmisiones de video desde sistemas de asistencia al conductor avanzados (ADAS), monitoreo del conductor, monitoreo de cabina y cámaras de vista lateral. Su motor CVflow AI puede ejecutar simultáneamente algoritmos ADAS como salida de carril y advertencia de colisión frontal, así como algoritmos de monitoreo del conductor, como detección de conductor somnoliento. La combinación de captura de video de alta resolución con procesamiento avanzado de inteligencia artificial permite que las cámaras ADAS reconozcan imágenes a largas distancias y con alta precisión.

Day dijo que el interés inicial está en el mercado automotriz, ya que este segmento representa aproximadamente el 20% del negocio de Ambarella.

El bajo consumo de energía del CV5 SoC también lo hace adecuado para cámaras de acción de 360 ​​° y realidad virtual (VR) de alta resolución y alta velocidad de fotogramas de próxima generación, que ofrecen grabación y reproducción de 8K en diseños de factor de forma muy pequeño. En particular, también tiene características como la estabilización de imagen en chip y la unión adecuada para cámaras de realidad virtual.

En aplicaciones robóticas y de drones, el motor CVflow AI de CV5 puede acelerar la localización y el mapeo simultáneos (SLAM), la planificación de rutas, la detección de obstáculos y los algoritmos de evitación para la navegación y el funcionamiento autónomo. Para videografía y cinematografía aérea basada en drones, CV5 puede realizar simultáneamente funciones de control de vuelo y navegación mientras graba una grabación de video con una resolución de hasta 8K a 60 cuadros por segundo.

Day comentó que hay dos áreas en el mercado de drones en las que el CV5 es particularmente bueno:una es para mejorar la videografía, pero la otra es para agregar visión por computadora e inteligencia artificial para cosas como la detección de objetos.

En todas las diferentes aplicaciones, Day dijo que el beneficio clave del CV5 es la capacidad de agregar grabaciones 8K en todos los mercados. También dijo que esta es la primera vez que la compañía incluye la interfaz PCIe en el chip, lo que abre opciones de conectividad. Si bien el enfoque inicial está en cámaras automotrices, deportivas, drones y cámaras de realidad virtual, espera tener versiones de CV5 para seguridad y vigilancia a finales de este año

El nuevo SoC comparte SDK y herramientas de visión por computadora (CV) comunes con otras familias de SoC CVflow de Ambarella, lo que simplifica el desarrollo de cámaras con múltiples opciones de precio y rendimiento. Un conjunto completo de herramientas CV ayuda a los clientes a trasladar sus propias redes neuronales a CV5, incluido un compilador, un depurador y soporte para marcos de aprendizaje automático estándar de la industria, como PyTorch, ONNX, Caffe y TensorFlow, así como extensas pautas para neuronales convolucionales. optimización del rendimiento de la red (CNN).

Las principales características del CV5 SoC incluyen:

• Arquitectura CVflow con soporte DNN
• Arm Cortex-A76 de doble núcleo hasta 1,6 GHz con extensiones NEON DSP y FPU
• Interfaces SLVS-EC, MIPI-CSI (C / D PHY) de alta velocidad, que conectan hasta 14 cámaras
• ISP multicanal con un rendimiento de hasta 8KP60
• Soporte nativo para formatos de sensor RGGB, RCCB, RCCC, RGB-IR y monocromo
• Procesamiento de alto rango dinámico (HDR) de exposición múltiple
• Corrección de deformación de ojo de pez y corrección de distorsión de lente (LDC) en tiempo real y acelerada por hardware
• Codificación AVC y HEVC con un rendimiento de hasta 8KP60 y compatibilidad con múltiples transmisiones
• El rico conjunto de interfaces incluye PCIe de 4 carriles, CAN FD, Gigabit Ethernet, host y dispositivo USB 3.1, tres controladores de tarjeta SD, MIPI DSI / CSI-2 y salidas de video HDMI
• Soporte LPDDR4x / LPDDR5 / LPDDR5x, bus de datos de 64 bits y hasta 32 GB de capacidad
• Funciones de seguridad que incluyen arranque seguro con TrustZone y memoria segura, TRNG, OTP, codificación de DRAM y virtualización
• Tecnología de proceso de 5 nm
• Paquete FBGA de 16 × 16 con paso de bola de 0,5 mm