La IA permite a robots identificar más de 90 objetos mediante el tacto

El nuevo marco de percepción basado en aprendizaje automático reconoce más de 90 objetos diferentes al tacto.

Usa observaciones visuales y táctiles para identificar si corresponden al mismo objeto.

Qué hicieron exactamente

El equipo empleó sensores táctiles de alta resolución mediante dos sensores GelSight (en los dedos del robot) y redes neuronales convolucionales (CNN) para asociación multimodal.

Estos sensores generan lecturas mediante una cámara integrada con gel elastomérico, que registra indentaciones en el gel creadas por contacto con objetos. Estas lecturas se alimentan a CNNs para procesamiento.

Los investigadores entrenaron estas CNNs para tomar lecturas táctiles de sensores e imagen del objeto desde una cámara, e identificar si estas entradas representan el mismo objeto. Para reconocimiento de instancias, combinaron lecturas táctiles del robot con observación visual del objeto consultado.

Referencia: arXiv:1903.03591 | UC Berkeley

Usaron GPUs NVIDIA GeForce GTX 1080 y TITAN X con framework CUDA deep learning para entrenar y probar la CNN para asociación multimodal en más de 33.000 imágenes.

Robot (izq.) con dos sensores GelSight táctiles (uno por dedo) y cámara RGB frontal | Ejemplos de observaciones táctiles (centro) e imágenes de objetos (der.) correspondientes a un solo objeto | Cortesía de investigadores

Los resultados demuestran que es posible reconocer instancias de objetos solo por lecturas táctiles, incluyendo instancias nunca usadas en entrenamiento. De hecho, la CNN superó a algunos voluntarios humanos y métodos alternativos.

¿Qué sigue?

Hasta ahora, los investigadores solo consideraron agarres individuales. En el próximo estudio, usarán múltiples interacciones táctiles para obtener imagen más completa del objeto consultado.

Leer: 15 tipos diferentes de robots explicados

El equipo también planea extender su sistema a almacenes robóticos donde robots miran imágenes de productos y los recuperan tocando objetos en estanterías. Este nuevo método puede aplicarse a robots en entornos domésticos para recuperar objetos en lugares de difícil acceso.