Revolucionando la Seguridad Alimentaria: Visualización Rápida y Precisa de Valor con Imagen Hiperspectral

La industria global de inspección de alimentos necesita herramientas más nuevas y precisas para cumplir estrictas regulaciones gubernamentales. Desde cultivos especializados hasta mariscos, carne y aves, el mercado de pruebas de seguridad alimentaria solo se valora en unos asombrosos 19.500 millones USD en 2021 y se proyecta alcanzar 28.600 millones para 2026¹. Este es un ejemplo donde la Imagen Hiperspectral (HSI) representa una herramienta que puede aliviar tareas tediosas e intensivas en mano de obra, así como traer un nuevo nivel de consistencia a algunas aplicaciones de clasificación históricamente subjetivas.

De Sensores Remotos a Visión Artificial Avanzada

Desarrollada originalmente para aplicaciones de teledetección involucrando imágenes de aviones y satélites, la HSI se ha vuelto una técnica comercialmente viable para aplicaciones avanzadas de visión artificial. Los sensores HSI actúan como miles o millones de espectrómetros proporcionando las firmas químicas de la luz reflejada en cada píxel de una imagen. Los sensores de Headwall pueden sintonizarse a rangos de longitud de onda más allá de la capacidad del ojo humano para discernir, desde el ultravioleta y visible (UV y VIS) hasta el infrarrojo cercano (VNIR, NIR y SWIR).

Capacidad de Discriminación Espectral

Los sensores de imagen hiperspectral pueden distinguir características espectrales que escapan al ojo humano y a la imagen de color convencional. Estas características pueden detectar materia extraña potencialmente dañina y proporcionar un medio para clasificar y graduar material como productos alimenticios cuyo valor a menudo está ligado a características que a menudo se miden mejor y más consistentemente por un sistema HSI que por un humano sujeto a fatiga o efectos de algo tan simple como cantidades variables de café cada día².

Los sistemas usando HSI han enfrentado obstáculos significativos en despliegue industrial debido a la necesidad de manejar cantidades comparativamente vastas de datos brutos y abordar la complejidad relativa del desarrollo de modelos de clasificación espectral. Sin embargo, plataformas HSI más nuevas como el sistema de imagen Hyperspec® MV.X de Headwall combinan un espectrómetro de imagen de alto rendimiento con potente computación embebida y software para crear rápidamente modelos de clasificación espectral para extraer resultados accionables en tiempo real e instrucciones sobre la red local para tomar acción o recopilar datos de monitorización y control.

Una Forma Diferente de Ver las Cosas

El ojo humano, por capaz que sea, solo puede detectar imágenes que caen en el espectro de luz visible entre 400 nm y 700 nm. Solo hay tres colores dentro de este rango que caen bajo amplias regiones RGB (rojo, verde o azul), y la sensibilidad y percepción de color de cada persona varía ampliamente. Sin embargo, la industria de inspección de alimentos ha dependido de humanos y sensores RGB para detectar problemas y graduar productos por siglos. Estos incluyen objetos extraños perdidos antes en el proceso de cosecha, e incluso condiciones de enfermedad difíciles de detectar que podrían ser largely invisibles a cualquiera de estos métodos tradicionales. Las apuestas son altas: preferencia del consumidor, capacidad de cumplir nuevas regulaciones gubernamentales, y valor para accionistas corporativos pueden depender de la precisión y efectividad de cómo se implementa la inspección en todas las facetas de la industria alimentaria.

Los sensores de 'imagen espectral' pueden subdividirse en dos categorías. Sensores multiespectrales comprenden un puñado de bandas espectrales, desde cuatro a docenas, mientras que sensores hiperspectrales proporcionan una vista mucho más granular (es decir, alta resolución espectral), ya que pueden capturar literalmente cientos de bandas espectrales a la vez. Ambos proporcionan una imagen mucho más completa de alimentos bajo inspección porque van mucho más allá del paradigma RGB simple tan común y tradicionalmente usado.

Los humanos ven color como combinaciones de rojo (1), verde (2), y azul (3) en una región muy pequeña del espectro electromagnético. La adición de bandas 4 y 5 representan un ejemplo multiespectral, donde más de 3 áreas del espectro son capturadas y analizadas. La imagen hiperspectral utiliza cientos de bandas del espectro en lugar de solo unas pocas. Esto permite el alto rendimiento de un espectrómetro de medición puntual pero en cada píxel de una imagen que podría consistir en millones de píxeles.

Sistemas de Visión Artificial Avanzada

Un sistema de visión artificial 'avanzado' para los propósitos de esta discusión puede consistir en uno o más sensores de imagen espectral, una fuente de iluminación adecuada, y una computadora que recopila los datos de imagen mientras comunica a robótica aguas abajo. El sensor presenta datos de imagen a la computadora en tiempo real, y esos datos de imagen se envían onward al sistema de robótica. El sistema de robótica interpreta la imagen e inmediatamente entiende qué hacer basado en algoritmos e instrucciones. En algunos casos, simplemente puede agarrar y eliminar un trozo de material extraño (aprobar/rechazar). En otros casos, dirigiría ciertas coloraciones de un producto a otra línea para procesamiento adicional (clasificación de 'graduación'). Para aplicaciones de reciclaje, puede clasificar diferentes tipos de plásticos de apariencia similar en líneas de alta velocidad.

El sensor hiperspectral no es un dispositivo independiente sino una parte importante y muy precisa de un sistema completo de visión artificial avanzada. Por una estimación³, la visión artificial se ha empleado en menos del 20% de las aplicaciones para las que es potencialmente útil. Por tanto, es sensato discutir formas en que esta poderosa tecnología de imagen puede hacer procesos de inspección mejores y económicamente más eficientes.

Funcionamiento del Sensor "Pushbroom"

Un sensor hiperspectral "pushbroom" captura imágenes escaneando línea por línea a través de una rendija (izquierda), cada línea conteniendo píxeles que guardan las características espectrales del sujeto (centro). A medida que el sensor se mueve relativo al área u objeto escaneado, se construye un conjunto de datos (derecha). El conjunto de datos resultante puede pensarse como una pila donde cada capa representa una "banda" particular (un pequeño rango de longitudes de onda). Los píxeles se unen para formar una imagen donde cada píxel contiene no solo valores RGB convencionales sino cientos de valores a lo largo del rango de longitud de onda del sensor.

La función básica de un sensor hiperspectral es capturar rebanadas individuales de una escena entrante a través de una rendija física en el caso de un diseño 'pushbroom' y romper cada rebanada en componentes de longitud de onda discretos que se presentan luego a un array de plano focal (FPA). Una rejilla de difracción gestiona la tarea de dispersar las rebanadas de imagen en componentes de longitud de onda discretos. La rejilla está ingenierada con un perfil de surco preciso para mantener coherencia espacial en una dimensión (la longitud de la rendija de imagen) y causar que la información espacial (el ancho de la rendija, en micras) difracte. Este proceso de difracción (dispersión) permite que el contenido espectral traverse a canales de longitud de onda conocidos en el sensor.

La tecnología de escaneo de línea espectral pushbroom todo-reflectivo usada por Headwall captura una línea espectral (X espacial y Z espectral) en cada 'frame'. Frames secuenciales construyen la dimensión espacial Y. El diseño pushbroom es preferido por su capacidad para proporcionar baja distorsión a muy alta resolución espacial y espectral. Alto rendimiento significa alta relación señal-ruido y luz parásita muy baja. Al ser un diseño todo-reflectivo, se eliminan problemas de dispersión cromática.

Construcción del Cubo de Datos Hiperspectral

Cuando se ve a través de la rendija del sensor hiperspectral, todo lo que vemos es la tira espacial que la rendija deja pasar. Esto sería equivalente a una columna de píxeles. Aún puedes ver el detalle espacial en la imagen, pero solo una tira a la vez. En cada rendija, hay muchos colores. El sistema HSI separa la luz en cada píxel espacial en los diferentes colores en ese píxel. Cada vez que la cámara toma una foto de la rendija, obtiene un frame completo de datos espectrales para cada píxel. Apilando cada imagen espectral de la rendija a medida que cruzamos la escena, construimos el cubo de datos hiperspectral. A medida que el sensor se mueve de izquierda a derecha sobre la escena, software avanzado de procesamiento hiperspectral puede tomar un conjunto de fotos y unirlas para adquirir un 'cubo de datos' completo.

Movimiento: Requisito Fundamental

Una característica de la imagen espectral que la hace perfecta para aplicaciones avanzadas de visión artificial es el movimiento. Como los sensores capturan datos de imagen frame por frame, naturalmente dependen de que ocurra movimiento. El sensor o necesita moverse sobre el campo de visión (como lo haría si estuviera unido a un dron o aeronave en aplicaciones de teledetección), o el campo de visión necesita moverse bajo el sensor (como lo haría en un despliegue avanzado de visión artificial).

Aplicaciones en Agricultura de Precisión e Inspección en Línea

La comunidad de agricultura de precisión ha adoptado tanto sensores hiperspectrales como multiespectrales como cargas útiles para drones y aeronaves que vuelan sobre campos de cultivo. Una riqueza de datos agrícolas vitales es capturada por estos sensores, con respecto a índices como NDVI, PRI, WBI, Red Edge Ratio y muchos más. Vitalidad del cultivo, efectividad de fertilización e riego, y signos tempranos de especies invasoras y enfermedades pueden verse dentro de las cientos de bandas de un sensor Visible-Infrarrojo Cercano (VNIR) que 've' entre 400 nm y 1000 nm.

Los sensores hiperspectrales pueden colocarse a lo largo de la línea de producción y conectarse a robots que toman acción apropiada basada en análisis en tiempo real realizado en los procesadores embebidos en los propios sistemas de sensores.

A lo largo de un transportador de alta velocidad, el mismo nivel de datos significativos puede recolectarse para impactar positivamente el proceso de inspección. Características de tasa de frames y campo de visión son tales que los sensores son más que capaces de monitorizar líneas anchas operando a altas velocidades. El alto nivel de discriminación ofrecido por HSI significa que incluso anomalías difíciles de distinguir son vistas y gestionadas. Un arándano en un campo de fresas es fácil de detectar, pero ¿qué hay de diferencias mínimas de color o químicas dentro del mismo cultivo o dentro de materiales reciclados de apariencia similar? Solo lo hiperspectral puede distinguir estas diferencias imposibles de ver.

Diseño del Sensor HSI

Los rayos de luz que entran en la rendija de un sensor hiperspectral pushbroom se separan en un espectro de color como en un arcoíris, en este caso por una rejilla holográfica de surcos muy finos. El espectro cae sobre un fotosensor 2D. El software convierte el nivel de señal en cada píxel fotosensible en una curva espectral en cada píxel de la imagen a medida que el sensor se mueve relativo al objeto escaneado.

Aunque los sensores HSI a veces se refieren como 'cámaras', en verdad son un matrimonio de espectrómetros y cámaras. Los sensores de Headwall se basan en un diseño todo-reflectivo sin partes móviles ni ópticas transmisivas potencialmente ofensivas. Esto se logra usando rejillas de difracción holográficas que gestionan la luz entrante pasando por la rendija de imagen. Las rejillas no solo son excepcionalmente precisas, sino que son pequeñas y ligeras. Esto permite que los instrumentos mismos sean pequeños y ligeros para fácil despliegue en cualquier lugar.

Headwall es el único fabricante de sensores espectrales que también fabrica sus propias rejillas de difracción. Cada rejilla es 'calidad master', lo que significa perfiles de surco idénticos de una a la siguiente para una aplicación dada. Dado que el rendimiento óptico fundamental del sensor es una función de la rejilla, esta capacidad representa verdadera diferenciación. Los sensores hiperspectrales están diseñados y 'sintonizados' a rangos espectrales específicos. Dentro de cada rango, literalmente cientos de bandas espectrales son recolectadas, dando una vista muy precisa y altamente resuelta de todo lo que se mueve a lo largo de la línea de inspección... tanto espectral como espacialmente.

La Iluminación Importa

Como los sensores HSI miden y analizan luz reflejada, la iluminación es una consideración importante. El objetivo general es proporcionar al campo de visión del sensor una forma de iluminación extremadamente uniforme, consistente, que sea simultáneamente robusta y económica.

Para el rango espectral VNIR, Cuarzo Tungsteno Halógeno (QTH) representa una tal tecnología de iluminación mientras que fuentes de luz LED más nuevas pueden verse como otra alternativa, aunque menos madura. Fibra óptica agrupada también presenta una fuente de luz uniforme. Gran parte de lo que interesa a la industria de inspección de alimentos 'refleja' en rangos más allá del visible, que corta alrededor de 700 nm. Así que tener una fuente de luz cubriendo ambos lados de este punto es vital.

Más allá de ser lo más fresca posible, robusta y uniforme, la fuente de luz necesita atravesar completamente el ancho de la línea de inspección. Esta capacidad borde a borde aprovecha el amplio campo de visión del sensor, permitiendo que el producto inspeccionado sea visto no solo directamente bajo el sensor sino hacia los bordes. No hay regimentación en una línea de inspección de alimentos de alta velocidad porque el producto podría estar en cualquier lugar... a lo largo de los bordes o amontonado en la banda transportadora. La longevidad de la fuente de luz también es importante ya que muchas líneas de inspección de alimentos funcionan las 24 horas.

Como el sensor está construyendo un 'cubo' de datos de imagen una rebanada a la vez y la iluminación misma es una tira muy delgada, la región de interés (la 'imagen de rendija') es lo que necesita iluminarse. Un objetivo de reflectancia blanca se usa para calibrar el sensor antes de la operación real. Este es un paso crucial porque el sensor está recopilando datos de imagen que un sistema de robótica aguas abajo (ej. vacío, cuchillas de aire, garra de recolección) usará para segregar 'bueno' de 'malo'. El objetivo es siempre presentar el tipo correcto de luz a la intensidad correcta, exactamente donde se necesita. También es importante que exista documentación proporcionando longitudes de onda e intensidad de luz a través del campo de proyección, uniformidad de la luz, y degradación a distancias estándar. De esta forma, el posicionamiento exacto del sensor relativo a la línea puede determinarse si algún ajuste en la arquitectura de la línea es necesario.

Robótica

Los subsistemas robóticos son un elemento natural de muchas aplicaciones de líneas de procesamiento de visión artificial avanzada. La capacidad de discriminar y eliminar depende de la capacidad del sensor y sistema robótico para comunicar rápida y fielmente, en tiempo real. Los sensores Hyperspec® pueden correr cientos de frames por segundo, significando que están bien adaptados tanto desde un punto de vista operacional como económico para trabajar con líneas de alta velocidad y los sistemas robóticos embebidos en ellas.

La industria de visión artificial entiende que la capacidad para integrar una amplia gama de subsistemas en una línea continua y sin costuras demanda que los protocolos de comunicación sean estándar de industria y rápidos. Ethernet Gigabit se usa a menudo para unir todo desde una perspectiva de flujo de datos. Los sistemas HSI y computadoras que gestionan los datos entrantes trabajan con Ethernet Gigabit, pero también otros enlaces de comunicación muy rápidos como CameraLink.

Recopilación y Procesamiento de Datos

Inspeccionar cultivos especializados como nueces y bayas implica ver items vastamente similares con pequeños grados de variabilidad. Por tanto, dividir la señal o imagen en cientos de 'canales' hiperspectrales es un beneficio para la industria.

Como la facilidad de uso es primordial y curvas de aprendizaje empinadas pero rápidas son necesarias, el software de Headwall es intuitivo y contiene funciones que permiten a usuarios modificar y adaptar sus procesos de inspección basados en lo que los sensores ven. El proceso basado en algoritmos pincha las características espectrales que los usuarios podrían encontrar. Por ejemplo, almendras con daño de insectos son casi indistinguibles de almendras 'buenas' bajo análisis RGB. Pero la misma escena clasificada usando HSI llamará la atención a las dañadas, que pueden ser eliminadas por el sistema robótico aguas abajo.

La combinación de sensores innovadores, software y flujo de trabajo permite a un número creciente de usuarios acceso a HSI con verdaderas soluciones que usan datos espectrales no solo para detectar contaminación, sino también 'graduar' productos para que menos se desperdicie y más se convierta en ingresos. La imagen hiperspectral desbloquea esa posibilidad dentro de la industria de visión artificial.

Referencias

1. "Food Safety Testing Market by Target Tested (Pathogens, Pesticides, GMOs, Mycotoxin, and Allergens), Technology (Traditional and Rapid), Food Tested (Meat, Poultry, Seafood, Dairy, Processed Foods, and Fruits & Vegetables), and Region - Forecast to 2026", Markets and Markets, Food Safety Testing Market, Publicado Mayo 2021
2. "The effect of caffeine on the color-discriminating function of the retina in volunteers", Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 Nov-Dec ; 61 ( 6 ):17-9. PMID: 9929810
3. "Multispectral vs Hyperspectral Imagery explained", GISGeography, 16 Feb 2018
4. "Handbook of Machine Vision", Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8