La visión neuromórfica tiene diversas aplicaciones

La empresa de visión basada en eventos Prophesee ha presentado algunas aplicaciones interesantes para sus sensores de visión de todo el mundo, que abarcan biotecnología, análisis científico, robótica y tecnologías espaciales. Un proyecto restauró parcialmente la vista a una persona ciega; otro rastrea la basura espacial a través del cielo, ya sea de día o de noche.

Prophesee dijo que hoy tiene una comunidad de 2200 inventores que trabajan con su tecnología. Los proyectos se presentan como parte de la comunidad de inventores de Prophesee, cuyo objetivo es inspirar la creatividad futura. Aquí están los detalles.

Restaurando la vista

Gensight Biologics ha restaurado parcialmente la función visual en un paciente con retinitis pigmentosa en etapa tardía. El tratamiento utiliza gafas especiales equipadas con un sensor de visión Prophesee basado en eventos.

Como parte de la terapia, la retina del paciente se trató con proteínas sensibles a la luz derivadas de las algas, que hacen que las células de la retina sean sensibles a la luz ámbar (590 nm). El sensor de visión Prophesee es parte de un par de gafas que convierten la señal de visión en una luz ámbar de alta intensidad que se ilumina en el ojo del paciente. Después de siete meses de usar las gafas, el paciente (que anteriormente era completamente ciego) podía ver lo suficientemente bien como para detectar un paso de peatones marcado en la calle. Pudo identificar un cuaderno en una mesa frente a él (92% del tiempo) y una caja de lápices (36% del tiempo). Podía agarrar objetos y contarlos.

Gensight Biologics ha integrado el sensor Prophesee en gafas que traducen imágenes del mundo en luz ámbar. Las células modificadas en la retina del paciente son capaces de detectar esta luz y darle sentido. (Fuente:Gensight Biologics / Prophesee)

El paciente ve los bordes de las formas por cortesía del sensor Prophesee, que proporciona una experiencia visual rápida y fluida, que es resistente a las condiciones de iluminación. El sensor genera datos escasos; no se pierde tiempo en volver a codificar imágenes.

Los resultados del estudio, realizado en colaboración con la Universidad de Basilea-UPMC, se publicaron en Nature Medicine. Si bien este trabajo concierne solo a un paciente, y es preliminar, debe verse como un resultado significativo para la aplicación de esta técnica y el tratamiento de pacientes con enfermedades neurodegenerativas y más.

Terapia celular

Cambridge Consultants en el Reino Unido ha estado utilizando el sensor Prophesee en un sistema de imágenes médicas para terapia celular. La terapia celular tiene potencial para el tratamiento del cáncer, enfermedades autoinmunes y neurológicas, entre sus aplicaciones, basadas en la reprogramación de las propias células del paciente. La fabricación de las células reprogramadas es un proceso manual laborioso con una dosis única que cuesta en promedio 475.000 dólares.

Un paso clave en el proceso verifica si las muestras son estériles. Esto puede llevar de 7 a 14 días para la incubación, mientras el paciente espera el tratamiento. Si se detectan contaminantes, se deben tomar nuevas muestras y el período de incubación comienza nuevamente. Cambridge Consultants utilizó el sensor de imagen de Prophesee para observar muestras a nivel celular, con modelos de inteligencia artificial para detectar, rastrear y clasificar contaminantes en tiempo real (<18 ms en comparación con 7-14 días).

PureSentry usa el sensor Prophesee combinado con IA para detectar contaminantes (en este caso, E. coli) según el tamaño, la forma y el movimiento. (Fuente:Cambridge Consultants)

El sistema PureSentry desarrollado por Cambridge Consultants puede rastrear tanto las células humanas como los contaminantes con precisión y exactitud antes que otras técnicas. La compañía mostró un video de la bacteria E. Coli que se detecta en una muestra en función de su tamaño, forma y movimiento característico. Funciona en condiciones más difíciles, como poca luz y altos índices de flujo, y es una prueba no destructiva. Este dispositivo puede ayudar a aumentar la automatización en el proceso de terapia celular; no se requieren técnicos altamente calificados.

Seguimiento de partículas

Un equipo de la Universidad de Glasgow, la Universidad Heriot-Watt y la Universidad de Strathclyde ha estado utilizando el sensor de imagen de Prophesee para la detección y el seguimiento de partículas a alta velocidad. El objetivo es hacer que el análisis de microfluidos sea más rápido y económico.

El equipo logró perfilar partículas de hasta 1 µm en velocidades de fluido de hasta 1,54 m / sy capturar datos a una resolución de tiempo equivalente a 20.000 imágenes por segundo. Su configuración utiliza el sensor de visión basado en eventos Prophesee con un microscopio de fluorescencia e iluminación estándar.

Toque de robot

Investigadores de la Universidad Nacional de Singapur están utilizando la visión basada en eventos en combinación con una nueva tecnología de sensor táctil para crear un sentido del tacto para los brazos y manos de los robots.

El sensor táctil desarrollado por los investigadores, NeuTouch, es una serie de 39 sensores montados en la punta del dedo del robot. Este sensor produce señales de "pico", similar al sensor Prophesee, que puede ser procesado por un procesador neuromórfico (específicamente, Intel Loihi).

El sensor NeuTouch de la Universidad Nacional de Singapur tiene un tamaño comparable al de un dedo humano (A), está compuesto de partes análogas a los huesos y la piel (B) y contiene 39 píxeles táctiles o "tacteles" (C). (Fuente:Universidad Nacional de Singapur / Prophesee)

Este trabajo es importante porque demuestra una forma de integrar y extraer significado de los datos de múltiples sensores (el sensor táctil y el sensor Prophesee) al mismo tiempo, de una manera adecuada para tareas complejas en sistemas con limitaciones de energía.

El robot fue entrenado para recoger recipientes con diferentes cantidades de líquido; pudo determinar qué era el líquido y cuánto pesaba. La información del peso provino del sensor de visión debido a la forma en que cada recipiente se deformaba cuando se levantaba.

El robot se probó con la "prueba de deslizamiento", que determina la cantidad mínima de presión necesaria para sujetar el objeto de forma segura. Una combinación de detección táctil y visual significaba que el sistema podía detectar deslizamientos muy rápidamente, 1000 veces más rápido que el tacto humano, detectando deslizamientos rotacionales en 0.08s.

Los investigadores esperan que esta tecnología pueda usarse para robótica industrial e incluso para restaurar el sentido del tacto en manos protésicas.

Leer EE Times "Informe sobre esta emocionante tecnología aquí.

Desechos espaciales

La Universidad de Western Sydney ha desarrollado Astrosite, un observatorio móvil que utiliza la tecnología Prophesee combinada con telescopios para rastrear los desechos espaciales en órbita alrededor de la Tierra.

Observatorios del telescopio Astrosite listos para ser desplegados (Fuente:Western Sydney University)

El creciente número de satélites en órbita significa que aumenta el riesgo de colisión con otros objetos; hay alrededor de 4850 satélites en el espacio, pero solo alrededor del 40% están activos. El monitoreo de satélites muertos y otros desechos generalmente se realiza con cámaras de alta resolución, que no son ideales para capturar imágenes a la luz del día. También capturan principalmente espacio vacío, lo que resulta en el procesamiento de una gran cantidad de datos innecesarios.

La detección basada en eventos es una buena solución, ya que captura datos sobre cambios en su campo de visión. Astrosite genera de 10 a 1000 veces menos datos con el sensor basado en eventos Prophesee que con un sistema de cámara convencional. También puede monitorear los desechos de manera continua (día y noche) con una resolución de microsegundos, a baja potencia.

>> Este artículo se publicó originalmente en nuestro sitio hermano, EE Times Europe.

---

Contenidos relacionados:

• Debut de chips de inteligencia artificial neuromórfica para aumentar las redes neuronales
• La fusión del sensor permite un agarre robótico
• La arquitectura de sensores apilados brinda capacidades de visión avanzadas
• El algoritmo de aprendizaje automático aprovecha la variabilidad de ReRAM
• Las herramientas ascienden en la cadena de valor para eliminar el misterio de la IA de la visión

Para obtener más información sobre Embedded, suscríbase al boletín informativo semanal por correo electrónico de Embedded.