Un sensor impulsado por IA detecta firmas espectrales en cultivos y hojas con una velocidad inigualable

Laboratorio Nacional Lawrence Berkeley, Berkeley, CA

Los científicos del Berkeley Lab desarrollaron un sensor inteligente que primero "huele" características espectrales de interés en objetos de ejemplo:en este caso, un tipo de cultivo (arriba) o de hoja (abajo). Luego busca los objetivos especificados en un nuevo entorno, uno que no ha visto antes, evitando al mismo tiempo el engorroso procesamiento digital. (Imagen:Ali Javey/Berkeley Lab)

Las herramientas de imágenes espectrales (cámaras que capturan colores más allá del espectro RGB visible para nuestros ojos) son vitales para obtener información sobre el material y las propiedades estructurales de un objeto. Combinarlos con el aprendizaje automático ha proporcionado un poderoso canal para identificar características en aplicaciones del mundo real, incluida la fabricación de semiconductores, el seguimiento de contaminantes y el monitoreo de cultivos.

Al incorporar algoritmos de IA en el propio sensor de la cámara, los investigadores del Laboratorio Nacional Lawrence Berkeley (Berkeley Lab) del Departamento de Energía han eliminado un cuello de botella en el procesamiento de datos que durante mucho tiempo ha afectado el rendimiento de la tecnología de imágenes espectrales. El resultado es un sensor inteligente capaz de identificar productos químicos y caracterizar materiales de forma rápida y eficiente.

"Nos centramos en mejorar la velocidad, la resolución y la eficiencia energética de las tecnologías de visión artificial espectral existentes en más de dos órdenes de magnitud", dijo Ali Javey, el científico que dirigió el estudio de Science que informa sobre el dispositivo. Javey es científico docente senior en Berkeley Lab y profesor de ciencia e ingeniería de materiales en UC Berkeley. El trabajo se realizó en estrecha colaboración con Aydogan Ozcan en UCLA.

El diseño del sensor ilustra cómo se pueden incorporar funciones novedosas en los propios dispositivos semiconductores para mejorar su eficiencia y utilidad, y permitir una nueva clase de hardware de visión de IA.

Las tecnologías de imágenes espectrales actuales tienen sensores y módulos computacionales separados. El sensor primero captura una pila de imágenes, cada una de las cuales corresponde a un color determinado. Luego, la densa pila de imágenes se envía a un procesador digital para su posterior cálculo, lo que produce los resultados de identificación del objeto. Ahí es donde surgen los problemas.

"Los sensores deben recopilar y enviar muchos más datos al procesador digital que las cámaras normales, aproximadamente entre diez y cien veces más grandes en volumen", dijo Dehui Zhang, postdoctorado en la División de Ciencias de Materiales del Laboratorio de Berkeley y autor principal del estudio. En consecuencia, el sensor y el hardware de la computadora a menudo se ven saturados, lo que hace que las tareas de reconocimiento de objetos sean extremadamente lentas y consuman mucha energía.

En cambio, el equipo del Laboratorio de Berkeley desarrolló sensores que realizan cálculos de IA y análisis espectral durante el proceso de captura (o fotodetección) de imágenes.

"La fotodetección puede percibirse como un proceso computacional físico automático", explicó Zhang. Cuando la luz incide en el sensor, su intensidad se asigna automáticamente a la fuerza de una corriente eléctrica. Debido a que la respuesta del sensor a la luz se puede ajustar fácilmente, los investigadores tienen una perilla de sintonización para seleccionar qué firmas espectrales se resaltan y cuáles se suprimen. La corriente que sale del sensor para ser leída por un circuito sirve, por tanto, como inferencia sobre el contenido espectral de la imagen.

"Demostramos que el proceso computacional se parece matemáticamente a un algoritmo típicamente utilizado para el aprendizaje automático digital", dijo Zhang. Esta analogía hizo posible utilizar el sensor como una computadora de aprendizaje automático y realizar los cálculos de aprendizaje automático en la propia luz entrante.

"Para mí, la parte más interesante es el concepto de dotar de inteligencia a los sensores", afirmó Javey. Los sensores normales simplemente recopilan información ambiental sin procesar, dejando las tareas de reconocimiento inteligente a los procesadores digitales.

Al codiseñar los materiales semiconductores, los dispositivos y los algoritmos, el equipo permitió que los sensores aprendieran y computaran sin la necesidad de un posprocesamiento digital de datos.

Pero las aplicaciones de esta tecnología van mucho más allá de la identificación de aves. Utilizando fotodiodos de fósforo negro, los investigadores demostraron experimentalmente otras posibilidades intrigantes. Identificaron con éxito el espesor de la capa de óxido en muestras de semiconductores (que los gigantes de la fabricación necesitan para que sean perfectamente uniformes), así como los estados de hidratación en diferentes hojas de plantas, la segmentación de objetos en imágenes ópticas y sustancias químicas transparentes en una placa de Petri.

"Soy optimista sobre el futuro de estos dispositivos para aplicaciones más amplias", dijo Javey. En el futuro, los sensores inteligentes podrían encontrar un lugar no sólo en la visión artificial espectral sino también en "otros sensores ópticos avanzados y más".

Para obtener más información, comuníquese con Esta dirección de correo electrónico está protegida contra spambots. Necesita activar JavaScript para verlo..