Revolucionando la visión artificial: Cómo los sensores de eventos impulsan un procesamiento de imágenes más rápido e inteligente

El desafío de los datos visuales masivos

El auge en el contenido generado por cámaras, en sectores de consumo e industriales, ha puesto una carga en la capacidad de las máquinas para adquirir, procesar y utilizar datos visuales de manera práctica y eficiente. Los desafíos actuales incluyen: una cantidad abrumadora de datos recopilados (gran parte de los cuales es irrelevante para las máquinas); capacidades de procesamiento insuficientes (especialmente en aplicaciones limitadas por tamaño y potencia): y la demanda de procesamiento en tiempo real. En consecuencia, los desarrolladores de sistemas con visión — desde teléfonos inteligentes, wearables, hogares inteligentes, IoT, sistemas, tecnologías automotrices hasta equipos de automatización industrial — buscan formas de transformar el enfoque tradicional de la detección visual y adquisición de datos.

Limitaciones de la tecnología de cámaras basada en fotogramas

Al haber surgido para proporcionar imágenes para consumo humano, el progreso de la tecnología de cámaras a lo largo de su historia — basándose principalmente en métodos basados en fotogramas — resulta inadecuado para cumplir con los requisitos de la visión artificial moderna. Durante años, la visión artificial ha dependido de información visual adquirida y estructurada para interpretación humana: flujos de video compuestos por imágenes secuenciales capturadas por un sensor de imagen. Cada imagen representa una instantánea estática en un momento particular que carece de información dinámica. Este método de recopilación de datos visuales es prevalente en la mayoría de los sistemas de visión artificial diseñados para monitorear cambios y movimientos dentro de entornos dinámicos.

Utilizando técnicas neuromórficas inspiradas en el sistema visual humano, el enfoque de visión basado en eventos busca mejorar la eficiencia y el rendimiento en varios sistemas con visión en sectores de consumo, industriales, automotrices y otros para elevar la seguridad, productividad y experiencia del usuario. (Imagen: Prophesee)

Problemas fundamentales con sensores de imagen tradicionales

El desafío predominante surge cuando hay movimiento o cambio en una escena, lo cual es común en la mayoría de las aplicaciones de visión artificial, y las limitaciones inherentes de la adquisición de fotogramas visuales se vuelven aparentes. Independientemente de la tasa de fotogramas establecida, si una cámara intenta capturar una escena en movimiento, será consistentemente inexacta. Dado que diferentes partes de una escena típicamente exhiben dinámicas variables simultáneamente, emplear una sola tasa de muestreo para regular la exposición de píxeles en un arreglo de imágenes inevitablemente resulta en una captura inadecuada de estas diversas dinámicas de escena que ocurren concurrentemente.

Menos es más al detectar eventos

Agravando este desafío, los problemas con los sensores de imagen tradicionales son que son lentos e intensivos en energía mientras producen datos redundantes excesivos y tienen un rango dinámico limitado, lo que los hace inadecuados para tareas de visión artificial, particularmente aquellas en entornos operativos exigentes. En consecuencia, los sistemas de visión basados en eventos "neuromórficos" inspirados biológicamente están emergiendo como alternativas que ofrecen velocidad mejorada, latencia mínima, mejor eficiencia energética y rango dinámico más amplio que se adaptan bien a varias aplicaciones de visión artificial.

La visión basada en eventos marca un cambio de paradigma en cómo se adquiere y procesa la información visual para usos modernos de visión artificial. Utilizando técnicas neuromórficas inspiradas en el sistema visual humano, este enfoque busca mejorar la eficiencia y el rendimiento en varios sistemas con visión en sectores de consumo, industriales, automotrices y otros para elevar la seguridad, productividad y experiencia del usuario.

La visión basada en eventos opera de manera diferente a las cámaras tradicionales ya que se aparta de una tasa de adquisición uniforme para todos los píxeles. En su lugar, cada píxel determina independientemente su momento de muestreo basado en cambios de luz incidente gracias a una inteligencia dedicada por píxel. La información de detección de contraste se encapsula en "eventos", que comprenden las coordenadas x,y del píxel y el tiempo preciso de generación del evento. Con los sensores basados en eventos patentados de Prophesee, por ejemplo, los píxeles se activan inteligentemente al detectar cambios de contraste (movimiento), facilitando la captura continua de detalles de movimiento esenciales a nivel de píxel.

La diferencia al pasar de tasas de fotogramas fijas es cómo cada píxel puede ajustar su tasa de muestreo según su entrada visual. Este enfoque personalizado permite a cada píxel determinar sus puntos de muestreo reaccionando a variaciones en los niveles de luz incidente. En consecuencia, el proceso de muestreo ya no está dictado por una fuente de tiempo artificial sino por la señal misma o específicamente por fluctuaciones de amplitud temporal de la señal. El resultado producido por tales cámaras evoluciona de secuencias de imágenes a un flujo continuo de datos de píxeles individuales generados condicionalmente basados en la dinámica de la escena.

Ventajas de los sensores de eventos

Los sensores de eventos ofrecen varias ventajas, incluyendo operación de alta velocidad (equivalente a 10,000 fps), consumo de energía altamente eficiente (hasta el rango de microwatts), baja latencia para tiempos de respuesta más rápidos, necesidades reducidas de procesamiento de datos (10-10,000x menos que sistemas basados en fotogramas), y un alto rango dinámico de hasta 120dB. Estas características hacen que los sensores de eventos sean adecuados para varias aplicaciones y productos.

Aplicaciones de la visión basada en eventos

Los sensores de eventos habilitados neuromórficamente pueden usarse para una variedad de tareas de automatización industrial, ayudando a mejorar productividad, calidad, seguridad, protección y mantenimiento preventivo. (Imagen: Prophesee)

Inicialmente, los sensores de eventos neuromórficos encontraron uso comercial no en máquinas sino para humanos, para restauración de visión en personas con discapacidad visual. Esto llevó a casos de uso en automatización industrial y monitoreo de procesos. Estos usos demostraron los beneficios de los sensores de eventos para numerosas tareas de visión, especialmente aquellas que involucran elementos en movimiento rápido y cambiantes, condiciones de iluminación ambiental impredecibles y recursos limitados. Las generaciones subsiguientes de sistemas basados en eventos se han aplicado en entornos industriales para tareas como conteo de alta velocidad, mantenimiento preventivo (p. ej., monitoreo de vibraciones), mejora de eficiencia y seguridad robótica, seguimiento ocular o de gestos para AR/VR, así como varias aplicaciones de logística y seguridad/protección.

Ideal para aplicaciones IoT

Estas ventajas inherentes hacen que los sensores de eventos sean ideales para aplicaciones IoT. El consumo de energía juega un papel crítico en dispositivos IoT, particularmente aquellos que dependen de baterías. La visión basada en eventos es adecuada para tales escenarios ya que opera a niveles de energía significativamente más bajos comparados con sistemas de cámaras basados en fotogramas. Además, las cámaras basadas en eventos sobresalen en condiciones de iluminación desafiantes comunes en muchas aplicaciones IoT debido a su procesamiento de información independiente de la luz. Su alto rango dinámico les permite capturar una amplia gama de intensidades de luz dentro de un solo fotograma, lo que las hace perfectas para entornos con condiciones de iluminación variables como escenas al aire libre con luz solar brillante o entornos nocturnos.

Con un rango dinámico que supera los 120dB, las cámaras basadas en eventos pueden funcionar eficazmente incluso en entornos donde las cámaras tradicionales luchan con condiciones de iluminación variables — ya sean entornos extremadamente brillantes como espacios públicos o vehículos durante el día o escenarios tenuemente iluminados como operaciones nocturnas o entornos de fábrica oscuros donde los sensores de eventos pueden usarse para tareas de mantenimiento preventivo y monitoreo de seguridad. (Imagen: Prophesee)

Con un rango dinámico que supera los 120dB, las cámaras basadas en eventos pueden funcionar eficazmente incluso en entornos donde las cámaras tradicionales luchan con condiciones de iluminación variables — ya sean entornos extremadamente brillantes como espacios públicos o vehículos durante el día o escenarios tenuemente iluminados como operaciones nocturnas o entornos de fábrica oscuros. Además, estas cámaras ofrecen latencia mínima al transmitir información solo cuando hay un cambio de brillo dentro de la escena. La respuesta en tiempo real resulta ventajosa en situaciones de iluminación que cambian rápidamente, como cambios bruscos de claro a oscuro o viceversa. Las cámaras basadas en eventos, que detectan alteraciones individuales en la intensidad de la luz, son menos propensas al desenfoque de movimiento comparadas con cámaras convencionales basadas en fotogramas.

Esta característica es particularmente valiosa en escenarios que involucran movimientos rápidos, asegurando calidad de imagen nítida. Nuevos usos que aprovechan este beneficio se están desarrollando para cámaras en teléfonos inteligentes, por ejemplo, la asociación de Prophesee con Qualcomm para integrar su tecnología basada en eventos con la popular plataforma Snapdragon.

Desarrollo futuro para IoT

El desarrollo adicional en sensores de eventos para IoT implica adaptarlos para tareas de visión en el borde con capacidades de cómputo a bordo limitadas debido a la adquisición de datos dispersos. Sin embargo, desafíos como formatos de datos no convencionales, tasas de datos variables e interfaces no estándar han obstaculizado una adopción más amplia. Para abordar este problema, la última generación de sensores de eventos, ejemplificada por GenX320 de Prophesee, busca mejorar la integración y usabilidad en sistemas de visión en el borde embebidos incorporando funciones como preprocesamiento y formateo de datos de eventos, interfaces de datos compatibles y conectividad de baja latencia con varias plataformas de procesamiento incluyendo procesadores neuromórficos de bajo consumo. Por ejemplo, el GenX320 ofrece múltiples funciones de preprocesamiento, interfaces adaptables y opciones de gestión de energía para atender eficientemente aplicaciones de visión sensibles a la energía.

A pesar de su eficiencia operativa, optimizar sensores de eventos para uso de baja potencia adecuado para configuraciones IoT sigue siendo crítico. Implementar una gama de modos de energía y modos de operación específicos de aplicación puede mejorar significativamente la eficiencia energética para aplicaciones "siempre encendidas". Utilizar mecanismos y estrategias inteligentes de gestión de energía en el chip puede refinar aún más la flexibilidad y usabilidad del sensor; las soluciones de Prophesee han demostrado consumo de energía reducido hasta 36uW con funcionalidad inteligente de activación por eventos habilitada. Además, soportar modos de sueño profundo y espera puede ser beneficioso.

Consideraciones específicas para un sensor de eventos dirigido a aplicaciones IoT incluyen lograr marcaje de tiempo de eventos con resolución de microsegundos y latencia mínima junto con capacidades de interfaz perfectas con SoCs estándar a través de funciones integradas de preprocesamiento de datos de eventos. Aprovechar interfaces de salida MIPI o CPI asegura conectividad rápida con plataformas de procesamiento embebido como microcontroladores de bajo consumo y arquitecturas modernas de procesadores neuromórficos. La privacidad a nivel de sensor se asegura a través de los datos de eventos dispersos sin fotogramas de los sensores de eventos e incluye eliminación de escenas estáticas.

Los sensores basados en eventos continúan evolucionando para satisfacer las necesidades de una gama más amplia de aplicaciones. El sensor más reciente de Prophesee, el GenX320, lo hace adecuado para las demandas de muchos casos de uso de IoT que deben operar en sistemas de menor potencia y factor de forma pequeño. (Imagen: Prophesee)

Nuevos casos de uso emergentes

Los sensores basados en eventos ahora se están utilizando en una gama más amplia de aplicaciones. Al integrar estos sensores con plataformas IoT, los desarrolladores de productos satisfacen necesidades específicas del mercado relacionadas con el consumo de energía y el tamaño. Los casos de uso incluyen renderizado foveado para experiencias AR/VR mejoradas, seguimiento ocular para interfaces hombre-máquina y aplicaciones de seguridad como sistemas de monitoreo de conductor y detección de emociones. También soportan capacidades siempre activas para fines de seguridad como cámaras de detección de caídas y seguimiento de gestos/manos para interfaces inmersivas. En el dominio AR/VR, aplicaciones como seguimiento inside-out y seguimiento de constelación basado en LCDs parpadeantes permiten seguimiento preciso de objetos o controladores.

Nuevos casos de uso adicionales, habilitados por mejoras en tecnología de silicio, están en desarrollo, incluyendo tecnología de luz estructurada 3D de alta velocidad que permite generación de nubes de puntos a tasas de repetición de kilohercios para aplicaciones industriales. Sistemas inteligentes para el hogar conscientes de la privacidad como unidades de detección de caídas también se están proliferando más ampliamente a medida que la tecnología de visión aborda preocupaciones de privacidad al no capturar o transmitir imágenes.

La visión basada en eventos está bien encaminada a establecerse como un paradigma que creará un nuevo estándar en muchos mercados que requieren eficiencia en cómo las máquinas pueden ver. En los últimos años, ha evolucionado exitosamente para satisfacer una gama más amplia de usos. Y al continuar adaptándose y abordando los requisitos de muchas aplicaciones, veremos más cámaras basadas en eventos a nuestro alrededor.

Este artículo fue escrito por Luca Verre, CEO y Co-fundador, Prophesee (París, Francia). Para más información, visite aquí.