Cámaras inteligentes aprenden a entender su mundo visual

Roboticistas e investigadores de inteligencia artificial (IA) saben que hay un problema en cómo los sistemas actuales perciben y procesan el mundo. Actualmente, todavía combinan sensores — como cámaras digitales diseñadas para grabar imágenes — con dispositivos de computación como unidades de procesamiento gráfico (GPU) diseñadas para acelerar gráficos para videojuegos.

Problema: captura y transmisión de información visual irrelevante

Esto significa que los sistemas de IA perciben el mundo solo después de grabar y transmitir información visual entre sensores y procesadores. Pero muchas cosas que se pueden ver a menudo son irrelevantes para la tarea en cuestión, como el detalle de hojas en árboles al borde de la carretera mientras un coche autónomo pasa. En este momento, toda esta información es capturada por sensores en detalle meticuloso y enviada, saturando el sistema con datos irrelevantes, consumiendo energía y tiempo de procesamiento.

Inspiración en sistemas naturales: ojos y cerebro trabajando juntos

Los investigadores han tomado inspiración de cómo los sistemas naturales procesan el mundo visual — los ojos y el cerebro humanos trabajan juntos para dar sentido al mundo y en algunos casos, los propios ojos realizan procesamiento para ayudar al cerebro a reducir lo que no es relevante. Los investigadores implementaron Redes Neuronales Convolucionales (CNN), una forma de algoritmo de IA para permitir comprensión visual, directamente en el plano de imagen. Las CNN pueden clasificar frames miles de veces por segundo sin tener que grabar estas imágenes o enviarlas por la tubería de procesamiento. Los investigadores consideraron demostraciones de clasificación de números escritos a mano, gestos de manos e incluso plancton.

Futuro: cámaras IA dedicadas que envían información de alto nivel

La investigación sugiere un futuro con cámaras IA inteligentes dedicadas — sistemas visuales que simplemente pueden enviar información de alto nivel al resto del sistema, como el tipo de objeto o evento que ocurre frente a la cámara. Este enfoque haría que los sistemas sean mucho más eficientes y seguros, ya que no es necesario grabar imágenes.

Chip SCAMP: Pixel Processor Array (PPA) con procesador en cada píxel

El trabajo incorpora SCAMP, un chip cámara-procesador que el equipo describe como un Pixel Processor Array (PPA). Un PPA tiene un procesador incrustado en cada píxel que puede comunicarse entre sí para procesar en forma verdaderamente paralela. Esto es ideal para CNNs y algoritmos de visión.

La integración de detección, procesamiento y memoria a nivel de píxel no solo permite sistemas de alto rendimiento y baja latencia, sino que también promete hardware de bajo consumo y alta eficiencia. Los dispositivos SCAMP pueden implementarse con huellas similares a los sensores de cámara actuales pero con la capacidad de tener un procesador masivamente paralelo de propósito general justo en el punto de captura de imagen.