Visualización del valor a la velocidad de la luz

La industria global de inspección de alimentos necesita herramientas más nuevas y precisas para cumplir con las estrictas regulaciones gubernamentales. Desde cultivos especiales hasta mariscos, carnes y aves, el mercado de pruebas de seguridad alimentaria por sí solo está valorado en la asombrosa cifra de 19 500 millones de dólares en 2021 y se prevé que alcance los 28 6 000 millones de dólares en 2026 ¹ . Este es un ejemplo en el que la imagen hiperespectral (HSI) representa una herramienta que puede aliviar las tareas tediosas y laboriosas, así como brindar un nuevo nivel de consistencia a algunas aplicaciones de clasificación históricamente subjetivas.

Desarrollado originalmente para aplicaciones de detección remota que involucran imágenes de aviones y satélites, HSI se ha convertido desde entonces en una técnica comercialmente viable para aplicaciones avanzadas de visión artificial. Los sensores HSI actúan como miles o millones de espectrómetros que proporcionan las firmas químicas de la luz reflejada en cada píxel de una imagen. Los sensores de Headwall se pueden ajustar a rangos de longitud de onda más allá de la capacidad de discernimiento del ojo humano, desde los rangos de longitud de onda ultravioleta y visible (UV y VIS) hasta el infrarrojo cercano (VNIR, NIR y SWIR).

Los sensores de imágenes hiperespectrales pueden distinguir características espectrales que eluden el ojo humano y las imágenes en color convencionales. Estas características pueden detectar materias extrañas potencialmente dañinas y proporcionar un medio para clasificar y calificar material, como productos alimenticios, cuyo valor a menudo está vinculado a características que a menudo se miden mejor y de manera más consistente por un sistema HSI que un ser humano que está sujeto a fatiga o el efectos de algo tan simple como variar la cantidad de café cada día 2.

Los sistemas que utilizan HSI han enfrentado importantes obstáculos en el despliegue industrial debido a la necesidad de manejar cantidades relativamente grandes de datos sin procesar y abordar la complejidad relativa del desarrollo del modelo de clasificación espectral. Sin embargo, las plataformas HSI más nuevas, como el sistema de imágenes Hyperspec® MV.X de Headwall, combinan un espectrómetro de imágenes de alto rendimiento con una potente computación y software integrados para crear rápidamente modelos de clasificación espectral para extraer resultados procesables en tiempo real y enviar instrucciones a través de la red local para tomar medidas o recopilar datos de seguimiento y control.

Una forma diferente de ver las cosas

El ojo humano, tan capaz como es, solo puede detectar imágenes que caen en el espectro de luz visible entre 400 nm y 700 nm. Solo hay tres colores dentro de este rango que se incluyen en regiones RGB amplias (rojo, verde o azul), y la sensibilidad y percepción del color de cada persona varía en gran medida. Sin embargo, la industria de la inspección de alimentos ha dependido de humanos y sensores RGB para detectar problemas y clasificar productos durante siglos. Estos incluyen objetos extraños que se pasaron por alto antes en el proceso de cosecha e incluso condiciones de enfermedades difíciles de detectar que podrían ser en gran medida invisibles para cualquiera de estos métodos tradicionales. Hay mucho en juego:la preferencia del consumidor, la capacidad de cumplir con las nuevas regulaciones gubernamentales y el valor de los accionistas corporativos pueden depender de la precisión y la eficacia de cómo se implementa la inspección en todas las facetas de la industria alimentaria.

Los sensores de "imágenes espectrales" se pueden subdividir en dos categorías. Los sensores multiespectrales comprenden un puñado de bandas espectrales, desde cuatro hasta docenas, mientras que los sensores hiperespectrales brindan una apariencia mucho más granular (es decir, alta resolución espectral), ya que pueden capturar literalmente cientos de bandas espectrales a la vez. Ambos brindan una imagen mucho más completa de los alimentos bajo inspección porque van mucho más allá del simple paradigma RGB que se usa tan común y tradicionalmente.

Los humanos ven el color como combinaciones de rojo (1), verde (2) y azul (3) en una región muy pequeña del espectro electromagnético. La adición de las bandas 4 y 5 representa un ejemplo multiespectral, donde se capturan y analizan más de 3 áreas del espectro. Las imágenes hiperespectrales utilizan cientos de bandas del espectro en lugar de solo unas pocas. Esto permite el alto rendimiento de un espectrómetro de medición puntual, pero en cada píxel de una imagen que podría constar de millones de píxeles.

Un sistema de visión artificial "avanzado" para los fines de esta discusión puede constar de uno o más sensores de imágenes espectrales, una fuente de iluminación adecuada y una computadora que recopila los datos de la imagen mientras se comunica con la robótica posterior. El sensor presenta datos de imagen a la computadora en tiempo real, y esos datos de imagen se envían luego al sistema robótico. El sistema robótico interpreta la imagen e inmediatamente entiende qué hacer en base a algoritmos e instrucciones. En algunos casos, puede simplemente agarrar y eliminar una pieza de material extraño (pasa/falla). En otros casos, dirigiría ciertas coloraciones de un producto a otra línea para su posterior procesamiento ('clasificación' del producto). Para aplicaciones de reciclaje, puede clasificar tipos de plásticos diferentes pero de aspecto similar a lo largo de líneas de alta velocidad.

El sensor hiperespectral no es un dispositivo independiente, sino una parte importante y muy precisa de todo un sistema avanzado de visión artificial. Por una estimación ³ , la visión artificial se ha empleado en menos del 20 % de las aplicaciones para las que es potencialmente útil. Por lo tanto, es sensato analizar las formas en que esta poderosa tecnología de imágenes puede hacer que los procesos de inspección sean mejores y económicamente más eficientes.

El sensor HSI se puede considerar como un "nuevo par de ojos" que actúa como un centinela que vigila las líneas de inspección, independientemente de la duración del ciclo de producción típico. Su capacidad para "hablar" con otros elementos del sistema es una razón crucial por la que se favorece la detección hiperespectral como una nueva herramienta para la industria con la capacidad de superar con creces las unidades RGB.

Un sensor hiperespectral “pushbroom” captura imágenes escaneando línea por línea a través de una rendija (izquierda), cada línea contiene píxeles que guardan las características espectrales del sujeto (centro). A medida que el sensor se mueve en relación con el área o el objeto que se escanea, se crea un conjunto de datos (derecha). El conjunto de datos resultante se puede considerar como una pila donde cada capa representa una "banda" particular (un rango pequeño de longitudes de onda). Los píxeles se unen para formar una imagen en la que cada píxel contiene no solo valores RGB convencionales, sino cientos de valores a lo largo del rango de longitud de onda del sensor.

La función básica de un sensor hiperespectral es capturar rebanadas individuales de una escena entrante a través de una rendija física en el caso de un diseño de escoba y dividir cada rebanada en componentes discretos de longitud de onda que luego se presentan a una matriz de plano focal (FPA) . Una rejilla de difracción gestiona la tarea de dispersar los cortes de imagen en componentes discretos de longitud de onda. La rejilla está diseñada con un perfil de ranura preciso para mantener la coherencia espacial en una dimensión (la longitud de la rendija de la imagen) y hacer que la información espacial (el ancho de la rendija, en micrones) se difracte. Este proceso de difracción (dispersión) permite que el contenido espectral se traslade a canales de longitud de onda conocidos en el sensor.

La tecnología de escaneo de líneas espectrales de escoba de empuje totalmente reflectante utilizada por Headwall captura una línea espectral (X espacial y Z espectral) en cada "fotograma". Los fotogramas secuenciales construyen la dimensión espacial Y. Se prefiere el diseño de escoba por su capacidad de proporcionar una baja distorsión a una resolución espacial y espectral muy alta. Alto rendimiento significa una alta relación señal-ruido y muy poca luz parásita. Debido a que es un diseño totalmente reflectante, se eliminan los problemas de dispersión cromática.

Cuando se ve a través de la rendija del sensor hiperespectral, todo lo que vemos es la franja espacial que deja pasar la rendija. Esto sería equivalente a una columna de píxeles. Todavía puede ver el detalle espacial en la imagen, pero solo una tira a la vez. En cada rendija, hay muchos colores. El sistema HSI separa la luz de cada píxel espacial en los diferentes colores de ese píxel. Cada vez que la cámara toma una foto de la rendija, obtiene un cuadro completo de datos espectrales para cada píxel. Apilando cada imagen espectral de la rendija a medida que cruzamos la escena, construimos el cubo de datos hiperespectrales. A medida que el sensor se mueve de izquierda a derecha sobre la escena, el software de procesamiento hiperespectral avanzado puede tomar un conjunto de imágenes y unirlas para adquirir un "cubo de datos" completo.

Una característica de la imagen espectral que la hace perfecta para aplicaciones avanzadas de visión artificial es el movimiento. Dado que los sensores capturan datos de imagen cuadro por cuadro, naturalmente dependen del movimiento que se produzca. El sensor debe moverse sobre el campo de visión (como lo haría si estuviera conectado a un dron o avión en aplicaciones de detección remota), o el campo de visión debe moverse debajo del sensor (como lo haría en un despliegue de visión artificial avanzada). ).

La comunidad de agricultura de precisión ha adoptado sensores hiperespectrales y multiespectrales como carga útil para drones y aeronaves que vuelan sobre campos de cultivo. Estos sensores capturan una gran cantidad de datos agrícolas vitales, con respecto a índices como NDVI, PRI, WBI, Red Edge Ratio y muchos más. La vitalidad de los cultivos, la eficacia de la fertilización y el riego, y los primeros signos de enfermedades y especies invasoras se pueden ver dentro de los cientos de bandas de un sensor de infrarrojo cercano visible (VNIR) que 've' entre 400 nm y 1000 nm.

Los sensores hiperespectrales pueden colocarse a lo largo de la línea de producción y conectarse a robots que toman las medidas adecuadas en función del análisis en tiempo real realizado en los procesadores integrados en los propios sistemas de sensores.

A lo largo de un transportador de alta velocidad, se puede recopilar el mismo nivel de datos significativos para impactar positivamente en el proceso de inspección. Las características de velocidad de cuadro y campo de visión son tales que los sensores son más que capaces de monitorear líneas anchas que operan a altas velocidades. El alto nivel de discriminación que ofrece HSI significa que incluso las anomalías difíciles de distinguir son detectadas y gestionadas. Un arándano en un campo de fresas es fácil de detectar, pero ¿qué pasa con las diminutas diferencias químicas o de color dentro del mismo cultivo o dentro de materiales reciclados de apariencia similar? Solo hiperespectral puede distinguir estas diferencias imposibles de ver.

Diseño de sensores HSI

Los rayos de luz que entran por la rendija de un sensor hiperespectral de escoba se separan en un espectro de color como en un arco iris, en este caso por una rejilla holográfica de surcos muy finos. El espectro cae sobre un fotosensor 2D. El software convierte el nivel de la señal en cada píxel fotosensible en una curva espectral en cada píxel de la imagen a medida que el sensor se mueve en relación con el objeto que se escanea.

Aunque los sensores HSI a veces se denominan "cámaras", en realidad son una combinación de espectrómetros y cámaras. Los sensores de Headwall se basan en un diseño totalmente reflectante que no tiene partes móviles ni ópticas transmisivas potencialmente ofensivas. Esto se logra mediante el uso de rejillas de difracción holográficas que gestionan la luz entrante que pasa a través de la rendija de la imagen. Las rejillas no solo son excepcionalmente precisas, sino que también son pequeñas y livianas. Esto permite que los instrumentos en sí mismos sean pequeños y livianos para una fácil implementación en cualquier lugar.

Headwall es el único fabricante de sensores espectrales que también fabrica sus propias rejillas de difracción. Cada rejilla es de "calidad maestra", lo que significa perfiles de ranura idénticos de uno a otro para una aplicación determinada. Dado que el rendimiento óptico fundamental del sensor es una función de la red, esta capacidad representa una verdadera diferenciación. Los sensores hiperespectrales están diseñados y "sintonizados" para rangos espectrales específicos. Dentro de cada rango, se recopilan literalmente cientos de bandas espectrales, lo que brinda una vista muy precisa y altamente resuelta de todo lo que se mueve a lo largo de la línea de inspección... tanto espectral como espacialmente.

El rango visible-infrarrojo cercano (VNIR) cubre desde 400 nm hasta 1000 nm y el rango extendido VNIR cubre desde 550 nm hasta 1700 nm. El rango de infrarrojo cercano (NIR) recopila datos de imagen de 900 nm a 1700 nm, mientras que el rango de infrarrojo de onda corta (SWIR) cubre de 900 nm a 2500 nm. Dado que el material "refleja la luz" en ciertos puntos dentro de estos rangos, es importante definir primero las firmas en sí. Luego, a través de algoritmos, el sensor puede caracterizar el material o detectar cualquier cosa que no esté definida con precisión como 'buena', no solo con respecto a material extraño, sino también diferencias de 'clasificación' difíciles de distinguir de una baya a otra o de una nuez a otra. otro. Esta es una característica muy valiosa de las imágenes hiperespectrales, ya que tiene un nivel de especificidad que va mucho más allá de los sensores RGB más tradicionales.

La luz importa

Dado que los sensores HSI miden y analizan la luz reflejada, la iluminación es una consideración importante. El objetivo general es proporcionar al campo de visión del sensor una forma de iluminación extremadamente uniforme y consistente que sea a la vez robusta y económica.

Para el rango espectral VNIR, Quartz Tungsten Halogen (QTH) representa una de esas tecnologías de iluminación, mientras que las fuentes de luz LED más nuevas pueden verse como otra alternativa, aunque menos madura. La fibra óptica agrupada también presenta una fuente de luz uniforme. Gran parte de lo que interesa a la industria de la inspección de alimentos se "refleja" en rangos más allá de lo visible, que se corta alrededor de los 700 nm. Por lo tanto, tener una fuente de luz que cubra ambos lados de este punto es vital.

Más allá de ser lo más fría posible, robusta y uniforme, la fuente de luz debe atravesar completamente el ancho de la línea de inspección. Esta capacidad de borde a borde aprovecha el amplio campo de visión del sensor, lo que permite ver el producto inspeccionado no solo directamente debajo del sensor sino también en los bordes. No hay reglamentación en una línea de inspección de alimentos de alta velocidad porque el producto puede estar en todas partes... a lo largo de los bordes o agrupado en la cinta transportadora. La longevidad de la fuente de luz también es importante ya que muchas líneas de inspección de alimentos funcionan las 24 horas.

Dado que el sensor está construyendo un "cubo" de datos de imagen, un segmento a la vez y la iluminación en sí es una tira muy delgada, la región de interés (la "imagen de corte") es lo que debe iluminarse. Se utiliza un objetivo de reflectancia blanca para calibrar el sensor antes de la operación real. Este es un paso crucial porque el sensor recopila datos de imagen que un sistema robótico posterior (p. ej., aspiradora, cuchillos de aire, garra para recoger) utilizará para separar lo "bueno" de lo "malo". El objetivo siempre es presentar el tipo correcto de luz con la intensidad adecuada, exactamente donde se necesita. Además, es importante que exista documentación que proporcione las longitudes de onda y la intensidad de la luz en el campo de proyección, la uniformidad de la luz y la degradación en distancias estándar. De esta manera, se puede determinar el posicionamiento exacto del sensor en relación con la línea en caso de que sea necesario algún ajuste en la arquitectura de la línea.

Robótica

Los subsistemas robóticos son un elemento natural de muchas aplicaciones avanzadas de línea de procesamiento de visión artificial. La capacidad de discriminar y eliminar depende de la capacidad del sensor y del sistema robótico para comunicarse rápida y fielmente, en tiempo real. Los sensores Hyperspec® pueden ejecutar cientos de fotogramas por segundo, lo que significa que son adecuados tanto desde el punto de vista operativo como económico para trabajar con líneas de alta velocidad y los sistemas robóticos integrados en ellas.

La industria de la visión artificial entiende que los medios para integrar una amplia gama de subsistemas en una línea fluida y en funcionamiento continuo exige que los protocolos de comunicación sean rápidos y estándar de la industria. Gigabit Ethernet a menudo se usa para unir todo desde una perspectiva de flujo de datos. Los sistemas HSI y las computadoras que administran los datos entrantes funcionan todos con Gigabit Ethernet, pero también con otros enlaces de comunicación muy rápidos como CameraLink.

Recopilación y procesamiento de datos

La inspección de cultivos especiales, como nueces y bayas, implica observar artículos de aspecto muy similar con pequeños grados de variabilidad. Por lo tanto, dividir la señal o imagen en cientos de "canales" hiperespectrales es un beneficio para la industria.

Dado que la facilidad de uso es primordial y que se necesitan curvas de aprendizaje pronunciadas pero rápidas, el software de Headwall es intuitivo y contiene funciones que permiten a los usuarios modificar y adaptar sus procesos de inspección en función de lo que ven los sensores. El proceso basado en algoritmos señala las características espectrales que los usuarios pueden encontrar. Por ejemplo, las almendras dañadas por insectos son casi indistinguibles de las almendras "buenas" bajo el análisis RGB. Pero la misma escena clasificada usando HSI llamará la atención sobre los dañados, que pueden ser eliminados por el sistema robótico posterior.

La combinación de sensores, software y flujo de trabajo innovadores permite que un número cada vez mayor de usuarios acceda a HSI con verdaderas soluciones que utilizan datos espectrales no solo para detectar la contaminación, sino también para "calificar" los productos para que se desperdicien menos y se conviertan más en ingresos. Las imágenes hiperespectrales desbloquean esa posibilidad dentro de la industria de la visión artificial.

Recursos

1. “Mercado de pruebas de seguridad alimentaria por objetivo probado (patógenos, pesticidas, OGM, micotoxinas y alérgenos), tecnología (tradicional y rápida), alimentos probados (carne, aves, mariscos, lácteos, alimentos procesados ​​y frutas &Verduras) y Región - Pronóstico hasta 2026 ”, Markets and Markets, mercado de pruebas de seguridad alimentaria, publicado en mayo de 2021
2. “El efecto de la cafeína en la función de discriminación de colores de la retina en voluntarios ”, Ovanésov KB. Vliianie. Eksp Klin Farmakol. 1998 noviembre-diciembre; 61 ( 6 ):17-9. IDPM:9929810
3. “Explicación de imágenes multiespectrales e hiperespectrales ”, GISGeography, 16 de febrero de 2018
4. “Manual de visión artificial ”, Alexander Hornberg, Wiley-VCH. pags. 694, 2006. ISBN 978-3-527-40584-8

Este artículo fue escrito por Christian Felsheim, director de Headwall Photonics EMEA, y el Dr. Will Rock, ingeniero sénior de aplicaciones, Headwall Photonics (Bolton, MA). Para obtener más información, visite aquí .