Cómo la Tecnología de Visión 3D Revoluciona la Automatización Moderna

La visión 3D está en el corazón de la automatización moderna que mejora los procesos industriales de innumerables formas y hace nuestras vidas más fáciles. Nos ayuda a clasificar productos, inspeccionar objetos en aplicaciones de control de calidad y encontrar defectos en ellos, y también completar las tareas más variadas más rápido y eficientemente de lo que los humanos podrían hacer jamás. Los robots guiados por visión se usan comúnmente para realizar tareas peligrosas y manipular objetos pesados, por lo que también aumentan la seguridad y eliminan el riesgo de lesiones.

Las tecnologías de detección 3D han recorrido un largo camino para ofrecer todos estos beneficios que disfrutamos hoy —y siguen avanzando. Desde la primera fotografía a la imagen digital, de 2D a 3D, y del escaneo 3D de objetos estáticos a la captura de escenas dinámicas. ¿Qué viene después?

Junto con Tomas Kovacovsky, cofundador y CTO del Grupo Photoneo, analizamos la historia de la visión artificial 3D hasta los últimos avances que dominan las tendencias actuales como Industria 4.0. Echemos un vistazo breve.

Fotografía y las primeras tecnologías para captura de imágenes

Desde los inicios de la fotografía, las personas han estado fascinadas por la posibilidad de capturar y registrar eventos. La primera foto conocida se tomó en algún momento entre 1826 y 1827 por el inventor francés Joseph Nicéphore Niépce. Mientras su proceso fotográfico requería al menos ocho horas si no varios días de exposición en la cámara, su asociado Louis Daguerre desarrolló el primer proceso fotográfico anunciado públicamente (conocido como Daguerrotipo) que solo tomaba minutos de exposición. El invento se presentó al público en 1839 —un año que generalmente se considera el nacimiento de la fotografía práctica.

Durante mucho tiempo, la fotografía solo sirvió como medio para registrar eventos. Como el procesamiento de imágenes llevaba bastante tiempo, la tecnología analógica no era ideal para usarse en visión artificial o tareas de toma de decisiones.

En 1969, William Boyle y George E. Smith de los Laboratorios Bell Americanos inventaron el sensor CCD (dispositivo de carga acoplada) para grabar imágenes, un hito importante en el desarrollo de la imagen digital. Un sensor CCD captura imágenes convirtiendo fotones a electrones —es decir, toma la luz y la traduce a datos digitales. Aunque los CCD no podían competir con la película estándar para captura de imágenes en ese momento, comenzaron a usarse para ciertas aplicaciones y la bola empezó a rodar.

De 2D a 3D

La detección 2D lanzó la era de la automatización y fue el enfoque prevalente en la automatización del sector industrial por mucho tiempo. La visión 2D se usa en algunas aplicaciones simples incluso hoy, incluyendo las siguientes:

• Reconocimiento óptico de caracteres (OCR) —lectura de textos mecanografiados, manuscritos o impresos; lectura de códigos de barras
• Control de calidad —a menudo usado en combinación con iluminación especial para asegurar que las cualidades ópticas del objeto escaneado permanezcan iguales
• Conteo
• Recolección de ítems bajo condiciones bien definidas

Sin embargo, la limitación principal de las tecnologías 2D es que no pueden reconocer formas de objetos ni medir distancia en la dimensión Z.

Las aplicaciones 2D requieren condiciones buenas y bien definidas con iluminación adicional, lo que también limita aplicaciones como el despaletizado. Esta tarea robótica puede hacerse con un sistema de visión 2D pero generalmente es problemática debido a la posición aleatoria de objetos en un contenedor y una gran cantidad de información en la escena que los sistemas de visión 2D no pueden manejar.

La gente reconoció la necesidad de información 3D para poder automatizar tareas más complejas. Entendieron que los humanos podían ver su entorno en vista 3D y decir la distancia de objetos porque tenían dos ojos —visión estereoscópica.

En los años 60, Larry Roberts, aceptado como el Padre de la Visión por Computadora, describió cómo derivar información geométrica 3D de fotografías 2D de dibujos de líneas y cómo una computadora podría crear un modelo 3D a partir de una sola fotografía 2D.

En los años 70, un curso de "Visión Artificial" comenzó en el Laboratorio de Inteligencia Artificial del MIT para abordar tareas de visión artificial de bajo nivel. Aquí, David Marr desarrolló un enfoque único para la comprensión de escenas a través de visión por computadora, donde trataba la visión como un sistema de procesamiento de información. Su enfoque comenzó con un boceto 2D, que fue construido por la computadora para obtener una imagen 3D final.

La investigación en visión artificial se intensificó en los años 80 y trajo nuevas teorías y conceptos. Estos dieron origen a una serie de tecnologías distintas de visión artificial 3D, que gradualmente se adoptaron en entornos industriales y de fabricación para automatizar la más amplia gama de procesos.

Primeras tecnologías de visión 3D

El esfuerzo por imitar la visión estereoscópica humana resultó en el desarrollo de una de las primeras tecnologías de detección 3D —estéreo pasivo. Este método de triangulación observa una escena desde dos puntos de vista y calcula el triángulo cámara —objeto escaneado— cámara, buscando correlaciones entre las dos imágenes. Basado en la disparidad entre las imágenes, calcula la distancia (profundidad) desde el objeto escaneado. Sin embargo, este enfoque se basa en encontrar detalles idénticos en las imágenes, por lo que no funciona bien con paredes blancas o escenas sin patrones. La fiabilidad del estéreo pasivo es baja y la salida 3D suele tener alto ruido y necesita mucha potencia de cómputo.

Para compensar esta desventaja, los investigadores empezaron a experimentar con proyectar patrones de luz sobre la escena para crear una textura artificial en la superficie e identificar correspondencias en la escena más fácilmente. Este método se llama estéreo activo. Aunque este método es más fiable que el estéreo pasivo, la calidad de reconstrucción a menudo se ve comprometida por requisitos estrictos en tiempo de procesamiento, lo que lo hace insuficiente para muchas aplicaciones.

Uno de los métodos más tempranos y aún muy populares para adquirir información 3D es la perfilometría láser. Esta técnica proyecta una banda estrecha de luz (o un punto) sobre una superficie 3D, lo que produce una línea de iluminación que aparece distorsionada desde un ángulo distinto al del proyector. Esta desviación codifica información de profundidad. Los escáneres de línea capturan un perfil de profundidad a la vez en sucesión rápida, para lo cual requieren que el objeto escaneado o la cámara se muevan constantemente. La perfilometría láser fue uno de los primeros métodos de escaneo 3D adoptados para uso industrial y sigue siendo muy popular en aplicaciones metrológicas, por ejemplo.

Otro método inventado al proyectar patrones de luz estructurada sobre una escena es la luz estructurada. Uno de los trabajos más citados discutiendo el uso de luz estructurada con códigos binarios para restauración digital fue El Proyecto Digital Miguel Ángel dirigido por Marc Levoy y su equipo en la Universidad de Stanford. El proyecto comenzó en 1998 para digitalizar las estatuas de Miguel Ángel usando un proyector y un sensor de cámara. Los datos de escaneo láser del David de Miguel Ángel se usaron luego para la restauración de la estatua que comenzó en 2002. Aunque el método usado en este proyecto no era lo suficientemente rápido para usarse en aplicaciones en tiempo real, proporcionó una precisión muy alta necesaria para la digitalización de varios artefactos y objetos. Gracias a esto, la tecnología encontró su nicho en aplicaciones metrológicas y otras tareas robóticas y de visión artificial que requieren alta precisión de escaneo.

Gradualmente, la tecnología de luz estructurada se expandió más allá de la metrología y penetró todo tipo de aplicaciones en línea usando robots guiados por visión. La ventaja de los escáneres 3D de luz estructurada es que no requieren movimiento. Porque pueden hacer una instantánea de toda el área de escaneo y no se necesita rodear todo el objeto con el escáner, son más rápidos que dispositivos basados en perfilometría láser y no requieren tanto postprocesamiento de datos.

De escenas estáticas a dinámicas

La captura de movimiento es mucho más desafiante que el escaneo 3D de escenas estáticas y descalifica métodos que requieren tiempos de adquisición más largos.

Porque el estéreo pasivo es un método pasivo que no usa iluminación adicional, podría usarse para capturar escenas dinámicas pero solo si se cumplían ciertas condiciones. Aun así, los resultados no serían buenos.

La perfilometría láser no es un método mucho más exitoso que el estéreo pasivo en este respecto. Porque captura un perfil a la vez, para hacer una instantánea completa de la escena, la cámara o la escena necesitan moverse. Sin embargo, la tecnología no puede capturar un evento dinámico. Para reconstruir profundidad para un solo perfil, requiere la captura de una imagen de área estrecha, cuyo tamaño limita la tasa de frames y consecuentemente también la velocidad de escaneo.

Los sistemas de luz estructurada, por otro lado, proyectan múltiples patrones de luz sobre la escena en secuencia, uno tras otro. Para esto, la escena necesita ser estática. Si el objeto escaneado o la cámara se mueven, el código se rompe y la nube de puntos 3D se distorsionará.

La necesidad de hacer una reconstrucción 3D de objetos dinámicos llevó al desarrollo de sistemas Time-of-Flight (ToF). Similar a la tecnología de luz estructurada, ToF es un método activo que envía señales de luz a la escena y luego interpreta las señales con la cámara y su software. En contraste con la luz estructurada, ToF estructura la luz en tiempo y no en espacio. Funciona en el principio de medir el tiempo durante el cual una señal de luz emitida desde la fuente de luz golpea el objeto escaneado y regresa al sensor.

Los primeros sistemas ToF tenían calidad bastante baja. Grandes actores en este campo incluyeron empresas como Canesta, 3DV Systems, o Microsoft (que luego adquirió ambas). Uno de los primeros proyectos conocidos fue el ZCam —una cámara Time-of-Flight desarrollada por 3DV y luego comprada por Microsoft para usarse en la adquisición de información 3D e interacción con objetos virtuales en la consola de videojuegos Xbox de Microsoft.

En 2010, Microsoft lanzó su sistema de sensor Kinect para Xbox, una cámara de detección de movimiento basada en tecnología PrimeSense. La tecnología PrimeSense usaba un patrón estructurado para codificar ciertos píxeles (no todos) y obtener información 3D. Aunque el método no podía proporcionar alta resolución y contornos detallados en los bordes de objetos escaneados, fue ampliamente adoptado ya que su velocidad de procesamiento era bastante rápida y la tecnología también era muy asequible. Se ha usado principalmente en el ámbito académico pero apenas puede encontrarse también en entornos industriales para recolección robótica y otras tareas.

En contraste con Kinect 1, Kinect 2 se basaba en tecnología ToF. Avances en ToF hicieron que el método se volviera cada vez más popular y ampliamente adoptado —podía proporcionar mayor calidad que la tecnología PrimeSense, pero la resolución de escaneos 3D de escenas dinámicas aún no era suficiente.

Los sistemas ToF de hoy son bastante populares en aplicaciones de visión 3D gracias a su velocidad de escaneo rápida y adquisición casi en tiempo real. Sin embargo, su resolución sigue siendo un problema y también luchan con niveles de ruido más altos.

En 2013, Photoneo presentó una idea revolucionaria de cómo capturar objetos en movimiento rápido para obtener información 3D en alta resolución y precisión submilimétrica.

La tecnología patentada de Parallel Structured Light se basa en un sensor CMOS propietario especial que presenta un obturador multi-tap con patrón de píxeles en mosaico, que cambia fundamentalmente la forma en que se puede tomar una imagen.

Este enfoque de instantánea novedoso utiliza luz estructurada pero intercambia el papel de la cámara y el proyector: Mientras los sistemas de luz estructurada emiten múltiples patrones desde el proyector en secuencia, la tecnología Parallel Structured Light envía un barrido láser muy simple, sin patrón, a través de la escena y construye los patrones del otro lado —en el sensor CMOS. Todo esto sucede en una sola instancia de tiempo y permite la construcción de múltiples imágenes virtuales dentro de una sola ventana de exposición. El resultado es una imagen 3D de alta resolución y alta precisión de escenas en movimiento sin artefactos de movimiento.

Una escena dinámica capturada por la tecnología Parallel Structured Light.

La tecnología Parallel Structured Light se implementa en la cámara 3D de Photoneo MotionCam-3D. El desarrollo de la cámara y su lanzamiento al mercado marcaron un hito en la historia de la visión artificial ya que redefinió la robótica guiada por visión y expandió las posibilidades de automatización a un grado sin precedentes. El enfoque novedoso fue reconocido con numerosos premios, incluyendo Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review's RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021, y SupplyTech Breakthrough Award 2022.

Escaneo 3D en movimiento y color

En 2022 Photoneo extendió las capacidades de MotionCam-3D equipándola con una unidad de color para la captura de datos de color. MotionCam-3D Color se considera la próxima bala de plata en visión artificial ya que finalmente permite la creación en tiempo real de nubes de puntos 3D coloridas de escenas en movimiento en calidad perfecta. Gracias a la combinación única de geometría 3D, movimiento y color, la cámara abre la puerta a aplicaciones de IA exigentes y tareas robóticas que no solo dependen de información de profundidad sino también de datos de color.

Creación en tiempo real de nube de puntos 3D colorida de una escena en movimiento usando MotionCam-3D Color.

Áreas de aplicación habilitadas por innovaciones en visión artificial

Las posibilidades ofrecidas por las últimas innovaciones en visión artificial 3D nos permiten automatizar tareas que eran inviables hasta recientemente. Estas aplicaciones pueden encontrarse en fabricación, logística, automotriz, alimentación, agricultura, medicina y otros sectores e incluyen:

• Manipulación robótica de objetos en movimiento constante o aleatorio
• Recolección de cintas transportadoras y transportadores aéreos
• Manipulación mano-ojo
• Creación de modelos 3D para inspección y control de calidad
• Limpieza y pintura de objetos grandes
• Operaciones de mantenimiento en RV/RA
• Clasificación y cosecha en agricultura
• Y muchas más

¿Qué viene después?

La visión artificial continúa desarrollando para traer nuevos avances con nuevas posibilidades. La dirección de las innovaciones siempre está influenciada por demandas del mercado, expectativas de clientes, competencia y otros factores.

Podemos esperar que la tendencia de desplegar IA en todas las áreas de visión artificial definitivamente continuará con el objetivo de eliminar el desarrollo de algoritmos a medida. Vemos un enorme potencial en el área de inteligencia artificial (IA) y su combinación con la tecnología Parallel Structured Light. Por un lado, la IA depende de buenos datos. Por otro, la nueva tecnología de visión artificial puede proporcionar una gran cantidad de datos 3D reales de alta calidad. Combinar estos dos enfoques puede transformar la robótica inteligente y habilitar una nueva esfera de posibilidades.

Otra dirección prometedora de desarrollos futuros es computación en el borde. Los fabricantes probablemente continuarán sus esfuerzos para integrar IA directamente en sensores y especializarlos para un propósito definido (ej. conteo de personas, dimensionado, o detección automatizada de características de objetos definidos), facilitando el despliegue para integradores y minimizando la necesidad de componentes adicionales. Nuevas soluciones de hardware capaces de capturar escenas en movimiento combinadas con algoritmos avanzados de IA extenderán los campos de aplicación cada vez más amplios incluso en áreas más desafiantes como robótica colaborativa o automatización logística completa.