SonicSense: permitiendo a los robots escuchar como humanos para interacción más inteligente

Una nueva investigación de la Universidad Duke detalla un sistema llamado SonicSense que permite a los robots interactuar con su entorno de formas previamente limitadas a humanos.

"Los robots hoy dependen principalmente de la visión para interpretar el mundo", explicó el autor principal Jiaxun Liu, doctorando de primer año en el laboratorio de Boyuan Chen, profesor de Ingeniería Mecánica y Ciencia de Materiales en Duke. "Queríamos crear una solución que funcionara con objetos complejos y diversos del día a día, dando a los robots una capacidad mucho más rica de 'sentir' y entender el mundo".

Cómo funciona SonicSense

SonicSense presenta una mano robótica con cuatro dedos, cada uno equipado con un micrófono de contacto incrustado en la yema. Estos sensores detectan y registran vibraciones generadas cuando el robot toca, agarra o agita un objeto. Y como los micrófonos están en contacto con el objeto, permite al robot ignorar ruidos ambientales.

Basándose en las interacciones y señales detectadas, SonicSense extrae características de frecuencia y usa su conocimiento previo, junto con avances recientes en IA, para determinar de qué material está hecho el objeto y su forma 3D. Si es un objeto que el sistema nunca ha visto, podría tomar 20 interacciones diferentes para llegar a una conclusión. Pero si ya está en su base de datos, puede identificarlo correctamente en tan solo cuatro.

Entrevista exclusiva con Boyuan Chen

Tech Briefs: ¿Cuál fue el mayor reto técnico al desarrollar SonicSense?

Chen: Creo que el primero es que realmente no ha habido estudios extensos sobre uso de vibraciones acústicas para percepción robótica. La mayoría de trabajos previos han sido con un solo dedo o muy preliminares. Pero poner esto en una mano robótica real y poder interactuar con una variedad de objetos posibles no es tarea fácil.

Tech Briefs: ¿Cómo surgió este proyecto? ¿Cuál fue el catalizador?

Chen: Es una historia interesante. La parte uno de mi trabajo se llamaba boombox, esto fue durante COVID. Pensaba que quería trabajar en robots y visión. Ya estaba interesado hace unos años en traer vibraciones acústicas al sensado, porque usamos vibraciones de sonido acústico mucho.

En neurociencia, la piel humana tiene neuronas de vibración. Leí sobre esto y pensé en cómo traerlo a robots. Pero durante COVID, no tenía acceso a robots. Hice mi doctorado en Columbia, así que vivía en un dormitorio pequeño en NYC, pero realmente quería hacer esta investigación. Tuve una idea aleatoria un día: "¿Qué puedo hacer sin robots para mostrar que esto es útil?"

Tenía una caja de juguetes en mi habitación. Al tirar objetos aleatoriamente, me di cuenta: "Oye, tengo que ir a recuperar este objeto, pero no sé dónde está. ¿Qué objeto tiré?" Esa era una pregunta de investigación perfecta.

Empecé con tres cajas de madera de diferentes formas, y las tiré en la caja. Entrené un sistema IA que predecía la forma del objeto que tiré y dónde terminó porque no podía verlo. Ese fue el proyecto.

La idea era básicamente que tienes cuatro micrófonos de contacto. Los pegas alrededor de la pared de la caja. Solo grabas vibraciones acústicas de los cuatro canales. Usé micrófonos que se usan para captar sonido de una guitarra. Los pegué a la caja, y entrené un sistema yendo de sonido a predicción de esta operación 3D. Y ese fue el comienzo.

Luego, por supuesto, quería hacer esto para robots. Ese fue prácticamente el nacimiento de SonicSense.

Tech Briefs: ¿Puede explicarlo en términos sencillos?

Chen: Es un sistema integrado de hardware y software. La parte hardware tiene un gripper robótico con cuatro dedos, y cada yema tiene un micrófono de contacto incrustado. Este micrófono no detecta lo que decimos, sino vibraciones de contacto físico.

El lado software permite al robot explorar autónomamente entornos mediante simple toque o agarre de un objeto con contenedor y agitarlo. El software recopila señales de los cuatro micrófonos de contacto y señales motoras juntas.

Entrenamos una red IA para predecir cosas como: "¿Cuántos dados hay en un contenedor? ¿Cuántas aristas tiene este dado? ¿Cuánto líquido hay en esta botella? ¿Cuánto estás vertiendo en otro contenedor?"

Tech Briefs: ¿Cuáles son sus próximos pasos?

Chen: Estamos explorando un par de ideas nuevas en términos de, primero, qué otras modalidades de sensado necesitamos para lograr destreza de manipulación a nivel humano. Pero incluso más para contenido robótico amplio, no solo manipulación. También para locomoción, navegación, todo. ¿Hay otras modalidades que puedan habilitar robots o capacitar robots para tener capacidades que incluso humanos o animales no tienen? Es una dirección.

Otra dirección es otras modalidades que ya tenemos en robots. Por ejemplo, visión —y cómo fusionamos todas las modalidades para tener una comprensión coherente del mundo en vez de solo una perspectiva? Así que hacer que muchas modalidades de sensado se unan y aprendan una comprensión unificada.

Una tercera dirección es llevar esto a los verdaderos vectores humanos de capacidad de manipulación —el diseño actual es muy prototipo. Queremos hacerlo escalando tanto la morfología como la capacidad de sensado de la mano a escala mucho mayor. Esto significa poner muchos sensores en una mano mucho más humana, y realmente mostrar capacidad de manipulación diestra. Ahora solo hacemos percepción de objetos, pero queremos poder manipular objetos con capacidades mucho más avanzadas.

Transcripción del video

El video presenta SonicSense, un marco integrado hardware/software para sensado de vibración acústica para percepción rica de objetos. Trabajos previos se enfocaron en pocos objetos primitivos con composición material homogénea, entornos controlados y prueba de dedo único. No estaba claro si el sensado de vibración acústica puede ayudar en percepción bajo condiciones ruidosas y menos controladas. SonicSense presenta diseño holístico en hardware y algoritmo. Mano robótica de 4 dedos con micrófono de contacto piezoeléctrico en cada yema y contrapeso en carcasa exterior para aumentar momento del movimiento. Diseño mecánico intuitivo permite primitivas de movimiento interactivas: tocar, agarrar, agitar. El micrófono recoge vibraciones acústicas de alta frecuencia creadas por contacto objeto-objeto o objeto-mano. El robot puede inferir geometría y estado de inventario de objetos en contenedor desde sus firmas vibracionales únicas. Derivan 12 características interpretables basadas en procesamiento de señal acústica tradicional para distinguir firmas. Reducción de dimensionalidad no supervisada no lineal con t-SNE en vector de 12 dimensiones. Agitando contenedor, el robot distingue exitosamente diferentes números de dados o dados con formas diferentes. Vertiendo agua en botella sostenida por el robot, detecta diferencias sutiles en firmas acústicas basadas en cantidades de agua existentes. También detecta diferentes cantidades al agitar. En tareas más desafiantes, desarrollaron dataset con 83 objetos reales diversos (9 categorías de materiales, geometrías variadas). A diferencia de trabajos previos que usan humanos para sostener mano del robot o poses/fuerzas fijas para replay, derivan política de interacción heurística simple pero efectiva para recopilar autónomamente respuesta vibracional. Entrenan modelo clasificación de material tomando espectrograma Mel de señal vibracional de impacto y aprenden a predecir etiqueta material. Red: 3 capas convolucionales + 2 MLP. Resultado inicial F1 0.523; observan materiales uniformes y suaves localmente; refinamiento iterativo lleva F1 promedio a 0.763. Modelo reconstrucción de forma toma puntos de contacto dispersos/ruidosos para generar forma 3D densa y completa. Apilan dos capas pointed para codificar entrada y alimentan vector característica global a red decodificadora con capas fully-connected para producir nube de puntos. Distancia Chamfer promedio 0.876. Predicción en formas primitivas casi perfecta; capacidad para reconstruir formas complejas solo mediante estimaciones dispersas/ruidosas de puntos de contacto. Re-identificación de objeto: tras interacción con respuestas vibracionales, robot re-identifica objeto mediante 15 nuevas interacciones de toque. Input 15 colecciones de espectrogramas Mel y puntos de contacto asociados para predecir etiqueta entre 82 objetos. Precisión >92%. Fuerte resistencia a ruidos ambientales, solo enfoca señales de vibración por contacto físico. Mano robótica completa cuesta $215 con componentes comerciales e impresión 3D. Resultados demuestran versatilidad y eficacia en tareas variadas: estimación estado inventario sólido/líquido en contenedores, clasificación material, reconstrucción 3D, re-identificación. Contribuciones únicas a percepción táctil con vibraciones acústicas, abre oportunidades para diseños robóticos futuros con modelo perceptual robusto, completo, versátil y holístico del mundo.