Las cámaras aprenden y entienden lo que ven

Los investigadores de robótica e inteligencia artificial (IA) saben que existe un problema en la forma en que los sistemas actuales detectan y procesan el mundo. Actualmente, todavía están combinando sensores, como cámaras digitales que están diseñadas para grabar imágenes, con dispositivos informáticos como unidades de procesamiento de gráficos (GPU) diseñadas para acelerar los gráficos de los videojuegos.

Esto significa que los sistemas de IA perciben el mundo solo después de registrar y transmitir información visual entre sensores y procesadores. Pero muchas cosas que se pueden ver a menudo son irrelevantes para la tarea en cuestión, como el detalle de las hojas en los árboles al borde de la carretera cuando pasa un automóvil autónomo. Por el momento, toda esta información es capturada por sensores con meticuloso detalle y enviada atascando el sistema con datos irrelevantes, consumiendo energía y tomando tiempo de procesamiento.

Los investigadores se han inspirado en la forma en que los sistemas naturales procesan el mundo visual:los ojos y el cerebro de un ser humano trabajan juntos para dar sentido al mundo y, en algunos casos, los propios ojos realizan el procesamiento para ayudar al cerebro a reducir lo que no es relevante. Los investigadores implementaron redes neuronales convolucionales (CNN), una forma de algoritmo de inteligencia artificial para permitir la comprensión visual, directamente en el plano de la imagen. Las CNN pueden clasificar fotogramas miles de veces por segundo sin tener que grabar estas imágenes o enviarlas por la tubería de procesamiento. Los investigadores consideraron demostraciones de clasificación de números escritos a mano, gestos con las manos e incluso plancton.

La investigación sugiere un futuro con cámaras inteligentes de IA dedicadas:sistemas visuales que simplemente pueden enviar información de alto nivel al resto del sistema, como el tipo de objeto o evento que tiene lugar frente a la cámara. Este enfoque haría que los sistemas fueran mucho más eficientes y seguros, ya que no es necesario grabar imágenes.

El trabajo incorpora SCAMP, un chip de procesador de cámara que el equipo describe como una matriz de procesador de píxeles (PPA). Un PPA tiene un procesador integrado en cada píxel que puede comunicarse entre sí para procesar en forma verdaderamente paralela. Esto es ideal para CNN y algoritmos de visión.

La integración de detección, procesamiento y memoria a nivel de píxel no solo permite sistemas de alto rendimiento y baja latencia, sino que también promete hardware de bajo consumo y alta eficiencia. Los dispositivos SCAMP se pueden implementar con huellas similares a los sensores de cámara actuales, pero con la capacidad de tener un procesador masivamente paralelo de propósito general justo en el punto de captura de la imagen.