La arquitectura de sensores apilados ofrece capacidades de visión avanzadas

PARIS - Prophesee, una startup con sede en París que ha sido pionera en los sistemas de visión neuromórfica, presentó esta semana en la Conferencia Internacional de Circuitos de Estado Sólido (ISSCC) en San Francisco un nuevo sensor de visión apilado basado en eventos desarrollado conjuntamente con Sony Corp.

Diseñado con la tecnología impulsada por eventos de Prophesee, el nuevo sensor se construyó con tecnologías diseñadas por Sony para sensores de imagen CMOS apilados avanzados.

Chip de píxeles (izquierda) y chip lógico (Fuente:Prophesee)

Para los sistemas impulsados ​​por eventos, el nuevo sensor ofrece el tamaño de píxel más pequeño de la industria y el rendimiento de alto rango dinámico (HDR) más alto de la industria, afirmó Prophesee. El sensor inspirado en el cerebro permitiría a las máquinas industriales, los robots y los vehículos autónomos ver y sentir mejor el entorno.

La asociación podría presagiar una nueva era en la que la IA, tanto la detección de la IA como el procesamiento de la IA, podría tener lugar muy cerca del sensor, si no aún en el sensor mismo, donde se generan los datos.

Luca Verre, director ejecutivo de Prophesee

¿Qué ventajas ofrecen las dos empresas?

Sony es la empresa líder mundial en sensores de imagen CMOS. Su asociación otorga credibilidad comercial a la nueva tecnología de detección de Prophesee. Luca Verre, director ejecutivo de Prophesee, espera que la medida abra la puerta a las cámaras basadas en eventos de Prophesee a oportunidades de mercado masivo.

"Dada la naturaleza de nuestra tecnología que utiliza muchos transistores, componentes electrónicos y fotodiodos, trabajar con Sony siempre fue nuestra primera opción", dijo Verre a EE Times . Las empresas comenzaron a trabajar juntas en 2017. Verre prometió que las muestras de los primeros sensores de visión apilados basados ​​en eventos estarán disponibles en 2020.

La asociación con Prophesee podría cambiar las reglas del juego para Sony, dando al gigante japonés la oportunidad de explorar la tecnología de visión impulsada por eventos.

Caja de Pandora

Pierre Cambou, analista principal de Yole Développement, ve la asociación Prophesee-Sony como equivalente a "abrir la caja de Pandora".

Pierre Cambou

En la cámara neuromórfica desarrollada por Prophesee, "Cada píxel, en esencia, es una neurona", señaló Cambou. Al decir que el desarrollo del apilamiento de chips "aún está en su fase inicial", Cambou predijo que en el futuro, las neuronas, la memoria y el procesamiento podrían apilarse todos juntos. El entusiasmo actual por llevar más inteligencia al "borde" o al "punto final" presagia un día en el futuro cuando la IA se detecte y procese dentro del sensor.

Sony podrá desarrollar un sensor de imagen integrado con IA que "puede mejorar las imágenes sobre la marcha" o crear un sensor de imagen que "ofrezca directamente detección basada en eventos", explicó Cambou.

De hecho, alguien ya ha aplicado redes neuronales a " Llegada de un tren a La Ciotat" - una famosa película temprana filmada por los hermanos Lumiere en 1896 - para completar los píxeles faltantes. Ese esfuerzo hizo posible revivir y mejorar la película de 124 años a video 4K en 60 cuadros por segundo. Al describir el video mejorado como de moda en Internet, Cambou explicó que el poder de la IA ha sido bien probado en el mundo de las imágenes.

El enfoque biomimético de la IA es una alternativa a la informática de von Neumann. "Aumentará su importancia a medida que la IA se generalice", dijo Cambou.

"La llegada de un tren a La Cicotat", filmada originalmente por los hermanos Lumiere en 1896, se amplió a 4K, 60 fotogramas por segundo, por Denis Shiryaev

Elementos básicos para el sensor de visión apilado basado en eventos

En el sensor controlado por eventos de nuevo diseño, el chip de píxeles (superior) y el chip lógico (inferior) se apilan juntos. La lógica incorpora circuitos de procesamiento de señales diseñados para detectar cambios en la luminancia basados ​​en un método de modulación delta asíncrono.

Cada píxel de los dos chips individuales está conectado eléctricamente mediante una conexión de cobre-cobre en una configuración apilada.

Esto permite que el nuevo sensor alcance el tamaño de píxel más pequeño de la industria (4,86 μm). También ofrece resolución HD de 1280 × 720 de tipo 1/2 al lograr una integración de alta densidad con un fino proceso lógico de 40 nm.

Otra característica del nuevo sensor controlado por eventos es su capacidad para ofrecer lo que Prophesee afirma es el rendimiento HDR más alto de la industria:124 dB (o más). El equipo logró esto colocando solo píxeles retroiluminados y una parte del transistor MOS tipo N en el chip de píxeles (arriba). Esto mejora la relación de apertura hasta en un 77%, según Prophesee. Las tecnologías de alta sensibilidad / bajo ruido que Sony ha desarrollado a lo largo de los años para sensores de imagen CMOS hicieron posible la detección de eventos en condiciones de poca luz (40 mlx).

¿División del trabajo?

Verre, director ejecutivo de Prophesee, señaló que el papel de Sony en la asociación no se limita a una fundición. Con un conocimiento sólido y una cartera de propiedad intelectual propia en tecnología basada en eventos, Verre dijo:"Llegamos a la mesa con una idea clara de cómo queríamos diseñar píxeles". Los esfuerzos de colaboración de las dos empresas hicieron posible el nuevo diseño de sensor impulsado por eventos, desde analógico, lógico y de potencia, combinado con el proceso de fabricación avanzado de Sony.

La relación tampoco es un ejercicio puro de I + D, señaló Verre. La intención es mantener una asociación a largo plazo que llevará la tecnología al mercado comercial mientras se desarrollan aplicaciones.

¿Qué significa esto para Sony?

El mundo tiene muchos actores en los sensores de imágenes CMOS. Cambou observó que Sony tomó en serio la predicción de que los sensores de imagen CMOS "ya no se tratan solo de imágenes, sino de sensores", un evangelio que Cambou ha estado predicando durante mucho tiempo.

¿Recuerda la adquisición de Sony en 2015 de SoftKinetic, con sede en Bélgica, un desarrollador de tecnologías de visión por computadora con detección 3D? Cambou dijo que la adquisición permitió a Sony hacerse con una participación en el creciente mercado de sensores de tiempo de vuelo (ToF) que los proveedores de teléfonos inteligentes Android de repente comenzaron a exigir el año pasado. Imagínese lo que le habría pasado a Sony si la empresa no hubiera incursionado en la tecnología de detección de profundidad en ese entonces, dijo Cambou.

En su opinión, la asociación con Prophesee no es diferente. Cuando los actores de los mercados de visión artificial industrial y automotriz comienzan a buscar datos de detección más ricos para mejorar sus operaciones, es más probable que agreguen una nueva tecnología de detección, en lugar de lanzar otra cámara idéntica.

En resumen, Prophesee podría ser la compañía que le permita a Sony ingresar al mercado de sensores de imagen impulsados ​​por eventos, al igual que SoftKinetic hizo posible que Sony desarrollara soluciones “DepthSense” y las convirtiera en teléfonos inteligentes.

Ahora, con su tecnología DepthSense, Sony está instalando sensores de imagen ToF en muchos teléfonos inteligentes Android. Esto se suma a la gran cantidad de triunfos de diseño de sensores de imagen CMOS que Sony ya ha acumulado en las cámaras frontal y trasera de los teléfonos inteligentes.