Sinergia de visión artificial y robótica para automatización de próxima generación

El próximo "dúo dinámico" puede no involucrar humanos en absoluto. "Visión artificial y robots forman un matrimonio perfecto", afirmó Klas Bengtsson, gerente global de producto, sistemas de visión para ABB Robotics (Auburn Hills, MI). Esto no es nuevo. Visión y robótica han ido de la mano por años. Pero a diferencia de otros matrimonios, este está prosperando a medida que la visión artificial expande su capacidad y encuentra nuevas aplicaciones. El "perfecto" matrimonio del pasado implicaba guiar al robot. Pero nuevas aplicaciones — como hijos de un buen matrimonio — ahora incluyen inspección de piezas, lectura de códigos de barras o QR para trazabilidad, y encontrar nuevas formas de empaquetar y desempaquetar piezas.

Todo se reduce a la flexibilidad que proporciona la visión artificial. "La visión ha ayudado a ABB a mejorar las capacidades de muchas aplicaciones robóticas", dijo.

La necesidad de guiar robots flexiblemente ha sido impulsada por la creciente diversidad de productos y la necesidad de acortar plazos de entrega en muchas industrias. ¿Por qué es tan importante la flexibilidad? "Si codificas duro la automatización robótica, en el momento que cambias un producto o algo en tu línea de producción debes cambiar el programa", dijo Bengtsson. Esto también significa cambiar fijaciones de precisión o la forma de colocar una pieza para que un programa de guía robotizada hardcodeado pueda recoger, pulir u operar confiablemente sobre la pieza. Los costos se suman.

La visión artificial ayuda a contener esos costos al permitir que el robot "vea" variaciones en piezas y orientación. Los sensores de escaneo 3-D están abriendo aún más nuevas aplicaciones. Dijo Bengtsson, "La pregunta hace 15 años era '¿Por qué usar visión artificial?'. La pregunta hoy es: '¿Por qué no?'."

Humanos y robots colaboran

Rethink Robotics (Boston), fundada en 2008, construye robots colaborativos, o cobots. Su producto insignia es Sawyer. "Un cobot como nuestro robot Sawyer se usa mejor realizando tareas repetitivas y mundanas a escala humana", dijo Mike Fair, gerente de producto. Esto significa trabajar con productos o movimientos que replican lo que un humano hace que también es adormecedoramente repetitivo y mundano.

"Aplicaciones como esta incluyen empaquetado, cuidado de máquinas, carga y descarga de líneas, inspección, y prueba de circuitos impresos", dijo. La manipulación de materiales para máquinas CNC es otra aplicación, reemplazando a un humano que carga una máquina CNC, la cicla, espera a que termine la tarea de mecanizado y luego descarga la máquina.

Rethink cree tanto en visión artificial que incrusta una cámara en la muñeca de cada Sawyer. "El sistema de visión incrustado [hace] nuestro cobot más rápido y fácil de implementar, eliminando molestias y costoso tiempo de integración de sistemas de visión artificial típicos. Añadimos software para hacer fácil implementar [esos] sistemas de visión", dijo Fair. En la feria ATX West 2018, proporcionó una demostración probando que incluso un periodista puede programar una tarea simple en pocos minutos. En conjunto con etiquetas codificadas que parecen códigos QR, su software ayuda al robot a posicionarse para adaptarse a variabilidad en la celda de trabajo. Esto también facilita mover robots Sawyer de tarea a tarea y de ubicación a ubicación.

Universal Robots USA Inc. (UR; Ann Arbor, MI) también se dedica a robots colaborativos. Sus tres robots, con capacidades de carga de 3 a 10 kg, operan dentro de un "ecosistema" de proveedores externos. Ofrece un programa gratuito para desarrolladores llamado Universal Robots+ para permitir a proveedores externos de efectores finales, sistemas de visión y otros periféricos desarrollar complementos plug-and-play con sus cobots.

El sitio web de la compañía muestra seis opciones diferentes de visión dentro de este ecosistema que son adecuadas para pick and place, automatización de máquinas CNC, empaquetado y paletizado, ensamblaje, atornillado y cuidado de máquinas. Están disponibles escáneres 2D y 3D. Varios paquetes de software de control de movimiento y simulación robótica están disponibles.

Integración, facilidad de uso

Para que la visión artificial sea útil, debe ser accesible, un elemento importante del ecosistema de UR. Por ejemplo, uno de sus paquetes externos se llama Universal Metrology Automation, ofrecido por 3D Infotech. Entrega integración de sistemas de control de movimiento, escáneres 3D y software de inspección para crear una solución de metrología automatizada configurable. Otros programas proporcionan programación en línea o fuera de línea, software de simulación robótica y capacidades de monitoreo.

"Hoy hay una integración mucho mejor con robots y sistemas de visión", dijo Rob Antonides, presidente de Apex Motion Control (Surrey, BC). Apex es un integrador que ha aprovechado al máximo el enfoque de ecosistema de UR. "Antes teníamos que hackear sistemas de visión con controladores de robots, pero hoy son más plug-and-play sin problemas, sobre Ethernet IP o cualquier tipo de red. Hace veinte años, me tomaba una semana configurar un sistema robótico guiado por visión y las comunicaciones; hoy son 15-20 minutos."

La visión artificial ha resultado especialmente útil para Apex. Tareas que ha automatizado incluyen una variedad de operaciones de panadería, incluyendo decoración de pasteles. "Los sistemas de visión te permiten lidiar con inconsistencias y presentación y posicionamiento de producto menos que perfectos. Mapeamos la superficie de un pastel con un sensor 3D para poder decorarlo rápida y fácilmente", dijo Antonides.

FANUC también enfatiza fácil integración. "Lanzamos un controlador completamente nuevo a finales del año pasado, con funciones prominentes para visión robótica integrada", explicó David Dechow, ingeniero de personal - robótica inteligente/visión artificial para FANUC America Corp. (Rochester Hills, MI). "En FANUC, todos nuestros sistemas de visión ahora están incrustados en el controlador." FANUC fue una de las primeras compañías de robots en incluir visión para guiar robótica, ofreciéndola hace 30 años como opción en sus sistemas de guía robótica.

Dechow también observó que las compañías de visión artificial se han concentrado en desarrollar interfaces más fáciles con robots. "Los proveedores de visión están apoyando notablemente este mercado", afirmó. "El trabajo pesado para lograr que la colaboración funcione está en el lado de la visión. El robot espera un punto. El truco es usar visión artificial para encontrar el punto correcto, fusionando el sistema de coordenadas del sistema de visión artificial al sistema de coordenadas del robot." Estuvo de acuerdo con otros entrevistados para este artículo que la visión artificial proporciona flexibilidad incomparable en muchas tareas de automatización. Hoy, la relación costo/beneficio empieza a favorecer la visión sobre fijaciones de precisión y hardcoding, dijo.

IA: Posicionamiento y discriminación

Una discusión sobre visión, datos y robots conduce naturalmente a la pregunta de qué tan útil sería la Inteligencia Artificial (IA) para robots con vista. Dechow señaló una trampa — la IA no es particularmente aplicable a guía robótica. "El aprendizaje de IA es excepcionalmente bueno en categorización y diferenciación. Lo que no es bueno es en análisis discreto", explicó. Un robot necesita moverse a un punto discreto. Cuando se combina con sistemas de metrología, mide cantidades geométricas discretas. "No hay nada que aprender", dijo.

Pero no termina ahí. Si no es aplicable a guía, hay tareas robóticas donde la IA ofrece valor. "Por ejemplo, identificar y clasificar un objeto contra su fondo para determinar el objeto sobre el que el robot debe operar, combinado con guía robótica, sería una buena aplicación híbrida", dijo. Otra está en optimización de agarre y recogida. "Encontrar la orientación ideal del brazo en el espacio y la trayectoria de acercamiento cae en un dominio de aprendizaje en lugar de [ser] determinista. Hay muchas orientaciones que son tanto buenas como malas", explicó. "La IA es especialmente útil donde las piezas son aleatorias y no homogéneas en colocación y tamaño."

Peter Cavallo de Denso Products and Services Americas Inc. (Long Beach, CA) estuvo de acuerdo en que el aumento sustancial en capacidad de sistemas de visión es tanto real como ha abierto nuevas oportunidades para aplicaciones robóticas. "En su forma más simple, [visión] encuentra una pieza u objeto y opera sobre él. En su forma más compleja, que estamos viendo ahora, puede ver cosas, interpretar, reconocer y ver la pieza por lo que es — incluso en diferentes configuraciones o posiciones — sin mover la pieza o el robot."

Ve el escaneo 3D como un desarrollo especialmente importante, haciendo tareas previamente difíciles como bin picking (recogida de contenedores) sencillas. El último sistema de Denso usa un sistema de visión de luz estructurada para ver en 3D con un detector CMOS.

Su visión de aplicar IA a robótica se basa en un contexto de sistema más amplio. "A medida que nos movemos hacia la próxima generación de robots, empezamos a meternos en cosas como deep learning, donde la visión se convierte en parte de un sistema completo", explicó. "Mostramos algo en el Tokyo robot show que mostraba deep learning en un sistema con 28 grados de libertad que incluía dos robots con manos que armaban una ensalada." ¿Por qué deberían impresionar a usuarios industriales? El robot seleccionó lechuga, frutas y vegetales usando solo el conocimiento proporcionado previamente. "No programamos el robot; en su lugar, le dijimos lo que queríamos", dijo. Piense en el número de tareas no estructuradas que existen en la planta que serían ideales para tal automatización.

No solo para los grandes

Visión artificial, integración, software, incluso IA puede hacer pensar que este nivel de automatización robótica es solo para empresas Fortune 500. No es el caso. "Es altamente aplicable a pequeñas y medianas empresas porque la visión hoy es razonable en costo. Lo que solía ser $50,000-$100,000 ahora es menos de $5000. No hay razón para ser tímido", dijo Cavallo.

Rick Brookshire, gerente de producto para Epson America Inc. (Carson, CA), estuvo de acuerdo que la automatización robótica es ideal para pequeñas y medianas empresas (PYMES). "Además de clientes grandes que compran 50, 100 o incluso 1000 robots, tenemos muchos clientes pequeños que compran uno, dos o tres robots", dijo. Epson se especializa en robots más pequeños optimizados para tareas de alta precisión, haciendo crecer su negocio de robótica desde sus propias necesidades en la construcción de relojes de alta precisión. "Todos nuestros robots están disponibles con guía de visión integrada, una característica que ha ido creciendo en aceptación. También se está volviendo más confiable. La gente está más dispuesta a usarla", dijo.

Como otros entrevistados para esta historia, cree que la simplicidad es vital — especialmente para satisfacer necesidades de PYMES. El programa Epson Vision Guide usa una interfaz GUI basada en objetos, point-and-click, permitiendo a desarrolladores desarrollar aplicaciones rápidamente, según la compañía. Mientras la aplicación ideal de robot guiado por visión es algo donde las piezas no están posicionadas bien dentro de un nivel de tolerancia razonable, o no pueden presentarse de manera consistente, la precisión que los robots Epson proporcionan abre otro dominio de uso.

Las tolerancias se están volviendo más estrictas. Las piezas se están volviendo más pequeñas. La colocación de precisión es cada vez más difícil. "Ahí es donde robots de precisión como los de Epson pueden ayudar", dijo. "Esto está pasando en empresas más pequeñas cada vez más. Y estos robots son tan fáciles de usar que muchos de nuestros clientes hacen la integración por su cuenta." Los robots incluso colocan tornillos de menos de 0.7 mm de diámetro. A medida que la fuerza laboral envejece, esto puede convertirse en un factor crítico.

James Cooper, vicepresidente de ventas para Applied Manufacturing Technologies (AMT; Orion, MI), tiene una perspectiva única basada en su experiencia en la industria de manufactura automotriz. AMT es un integrador de sistemas especializado en sistemas robóticos guiados por visión. Múltiples números de pieza con sistemas complejos, como en cajas de transmisión, se están volviendo prevalentes. Una caja de transmisión es un objeto grande con muchos agujeros y superficies complejas — ideal para visión pero costoso para fijaciones duras de precisión. "Los tamaños de lote también se están volviendo más pequeños con cambios más frecuentes. Por eso los sistemas de visión guiada por robot se están volviendo tan críticos en muchas aplicaciones." También observó el crecimiento de sistemas de visión 3D, especialmente en aplicaciones de bin picking y tote picking.

Va más allá de la guía. "Inspección de calidad es una aplicación ideal, buscando presencia y ausencia de agujeros y otras características o determinando si un componente ha sido ensamblado correctamente", dijo. Otra área rica está en inspección de metrología. "Construimos un sistema con nuestro socio Hexagon basado en un robot colaborativo que inspecciona el producto de un cliente. Esto solía hacerse en una CMM en una habitación separada con temperatura controlada. Por años los fabricantes quisieron hacerlo en la planta de producción. Ahora es posible tener un sistema completamente portátil, sin resguardos, ideal para aplicaciones de inspección de primer artículo, justo en la máquina de producción", dijo.

Estuvo de acuerdo que estas aplicaciones están creciendo en PYMES. También señaló que estas operaciones luchan por encontrar mano de obra calificada, impulsando la necesidad de más automatización.

ABB también ha desarrollado un sistema de inspección robótica a través de una colaboración con NUB3D (que posteriormente adquirió), un innovador líder en soluciones digitales de inspección 3D y control de calidad. El sistema llave en mano consiste en un sensor de escaneo de luz blanca 3D montado en el brazo de un robot ABB.

Stäubli Corp. (Duncan, SC) es una compañía de robots que usa una variedad de visión artificial de proveedores externos para construir aplicaciones para guía de visión robótica. Pero también ofrece otro uso de sistemas de visión con robots industriales que necesitan interacción humana: una valla de seguridad virtual alrededor de robots.

Como explicó Olivier Cremoux, gerente de desarrollo de negocio, robótica Norteamérica para Stäubli, la colaboración hombre/robot puede clasificarse en cinco etapas diferentes. La etapa más baja 1, común en la mayoría de robots industriales, es sin contacto directo, donde cualquier interacción entre hombre y máquina es peligrosa. "El robot y el operador están separados por vallas duras", dijo. La más alta, etapa 5, es donde el contacto es deseado y requerido, por ejemplo cuando un robot es guiado manualmente por un operador para llevar a cabo o ensamblar una herramienta pesada u otros movimientos simultáneos con un robot. Hay etapas intermedias donde se desea cierto contacto a diferentes niveles, y donde el robot a menudo necesita detenerse y dejar que el humano haga algo. "Este intermedio representa el 95% de aplicaciones colaborativas", dijo.

En estas etapas intermedias, un sistema de visión de escaneo 3D que escanea hacia afuera desde la celda de trabajo puede detectar un humano acercándose. Dentro de cierta distancia, señala a la celda de trabajo para reducir la velocidad del robot para prevenir contacto y posible lesión. A medida que el humano se acerca aún más, detiene la celda completamente. Esto permite al humano realizar una acción, como inspección o colocación, luego alejarse, permitiendo que la celda se reinicie automáticamente.

HNJ Solutions Inc. (Carson, CA) es una empresa de integración fundada para proveer sistemas de visión para manufactura, incluyendo con robots, según el Presidente Greg McEntyre. Mientras reconoce que los sistemas de visión son de hecho más fáciles de usar e instalar, dice que queda una clase de aplicaciones donde integradores como HNJ son necesarios. "En aplicaciones complejas con múltiples colores, tamaños, orientaciones e incertidumbre general, es importante saber cómo funcionan las cámaras y por qué funcionan para instalar un buen sistema", dijo.

Enfatizó cómo las cámaras 3D están expandiendo aplicaciones relevantes, como bin picking. "Hoy incluso importamos el modelo CAD de nuestros objetos para que el sistema de visión pueda entender en 3D el objeto que necesita recoger u operar", dijo. "Las cámaras dan libertad completa."

¿Qué consejo podría ofrecer, como integrador de visión y robótica compleja? "Aunque no sea tan fácil como parece, diría que simplemente lancense", dijo. "Hay tanto hardware útil que la guía por visión y aplicaciones de visión se están volviendo cada vez más útiles." En otras palabras, simplemente háganlo.