La inteligencia artificial ayuda al robot a reconocer objetos al tacto

• El nuevo marco de percepción basado en el aprendizaje automático puede reconocer más de 90 objetos diferentes al tacto.
• Utiliza observaciones visuales y táctiles para identificar si estas observaciones corresponden al mismo objeto.

Los seres humanos son buenos para asociar la apariencia y las propiedades materiales de los objetos en múltiples modalidades. Cuando vemos una tijera, podemos imaginar lo que sentirían nuestros dedos al tocar la superficie de metal, podemos imaginarlo en nuestra mente, no solo su identidad, sino también su tamaño, forma y proporciones.

La percepción de los robots, por otro lado, no es inherentemente multimodal. Aunque los robots existentes equipados con cámaras avanzadas son capaces de distinguir entre dos objetos diferentes, la visión por sí sola a menudo puede resultar inadecuada, especialmente en presencia de oclusión y condiciones de poca luz.

Ahora, investigadores de la Universidad de California en Berkeley han desarrollado un método que permite al manipulador robótico aprender asociaciones multimodales similares a las de los humanos. Utiliza observaciones visuales y táctiles para averiguar si estas observaciones corresponden o no al mismo objeto.

¿Qué hicieron exactamente?

El equipo de investigación empleó un sensor táctil de alta resolución a través de dos sensores GelSight (conectados en el dedo del robot) y redes neuronales convolucionales (CNN) para la asociación multimodal.

Estos sensores generan lecturas mediante una cámara integrada con un gel de elastómero, que registra las hendiduras en el gel creadas por el contacto con objetos. Estas lecturas luego se envían a las CNN para el procesamiento de datos.

Los investigadores entrenaron a estas CNN para tomar las lecturas táctiles de los sensores y la imagen del objeto de una cámara, e identificar si estas entradas representan el mismo objeto o no. Para realizar el reconocimiento de instancias, combinaron las lecturas táctiles del robot con la observación visual del objeto de consulta.

Referencia:arXiv:1903.03591 | UC Berkeley

Utilizaron las GPU NVIDIA GeForce GTX 1080 y TITAN X con el marco de aprendizaje profundo CUDA para entrenar y probar la CNN para la asociación multimodal en más de 33,000 imágenes.

Robot (izquierda) que consta de dos sensores táctiles GelSight (uno en cada dedo) y una cámara frontal RGB | Ejemplos de observaciones táctiles (centro) e imágenes de objetos (derecha) correspondientes a un solo objeto | Cortesía de investigadores

Los resultados demuestran que es posible reconocer instancias de objetos solo mediante lecturas táctiles, incluidas instancias que nunca se utilizaron en el entrenamiento. De hecho, CNN superó a algunos voluntarios humanos y métodos alternativos.

¿Qué sigue?

Hasta ahora, los investigadores solo han considerado los conocimientos individuales. En el próximo estudio, utilizarán múltiples interacciones táctiles para obtener una imagen más completa del objeto de consulta.

Leer:15 tipos diferentes de robots | Explicado

El equipo también planea extender su sistema a almacenes robóticos donde los robots miran imágenes de productos y las recuperan palpando objetos en los estantes. Este nuevo método se puede aplicar a los robots en un entorno doméstico para hacer que recuperen objetos de lugares difíciles de alcanzar.