Un sistema de inteligencia artificial para identificar objetos en escenas desordenadas

La visión robótica ha recorrido un largo camino, alcanzando un nivel de sofisticación con aplicaciones en tareas complejas y exigentes, como la conducción autónoma y la manipulación de objetos. Sin embargo, todavía tiene dificultades para identificar objetos individuales en escenas abarrotadas donde algunos objetos están parcial o completamente ocultos detrás de otros. Por lo general, cuando se trata de tales escenas, los sistemas de visión robótica están entrenados para identificar el objeto ocluido basándose solo en sus partes visibles. Pero tal entrenamiento requiere grandes conjuntos de datos de objetos y puede ser tedioso.

Profesor Asociado Kyoobin Lee y Ph.D. El estudiante Seunghyeok Back del Instituto de Ciencia y Tecnología de Gwangju en Corea del Sur se encontró enfrentando este problema cuando estaban desarrollando un sistema de inteligencia artificial para identificar y clasificar objetos en escenas abarrotadas. “Esperamos que un robot reconozca y manipule objetos con los que no se ha encontrado antes o que no ha sido entrenado para reconocer. En realidad, sin embargo, necesitamos recopilar y etiquetar manualmente los datos uno por uno, ya que la generalización de las redes neuronales profundas depende en gran medida de la calidad y la cantidad del conjunto de datos de entrenamiento”, dijo Back.

En un nuevo estudio, dirigido por el Prof. Lee y Back, desarrollaron un modelo llamado "segmentación de instancia amodal de objetos invisibles" (UOAIS) para detectar objetos ocluidos en escenas abarrotadas. Para entrenar al modelo en la identificación de la geometría de los objetos, desarrollaron una base de datos que contenía 45.000 imágenes sintéticas fotorrealistas que contenían información de profundidad. Con estos datos de entrenamiento (limitados), el modelo pudo detectar una variedad de objetos ocluidos. Al encontrar una escena desordenada, primero selecciona el objeto de interés y luego determina si el objeto está ocluido al segmentarlo en una "máscara visible" y una "máscara amodal".

Los investigadores estaban entusiasmados con los resultados. “Los métodos anteriores se limitan a detectar solo tipos específicos de objetos o detectar solo las regiones visibles sin razonar explícitamente sobre las áreas ocluidas. Por el contrario, nuestro método puede inferir las regiones ocultas de los objetos ocluidos como un sistema de visión humana. Esto permite una reducción en los esfuerzos de recopilación de datos al tiempo que mejora el rendimiento en un entorno complejo”, dijo Back.

Para habilitar el "razonamiento de oclusión" en su sistema, los investigadores introdujeron un esquema de "modelado de oclusión jerárquica" (HOM), que asignó una jerarquía a la combinación de múltiples características extraídas y su orden de predicción. Al probar su modelo con tres puntos de referencia, validaron la eficacia del esquema HOM, que logró un rendimiento de vanguardia.

Los investigadores tienen esperanzas sobre las perspectivas futuras de su método. “Percibir objetos invisibles en un entorno desordenado es esencial para la manipulación robótica amodal. Nuestro método UOAIS podría servir como referencia en este frente”, dijo Back.

Para obtener más información, comuníquese con Seulhye Kim, Instituto de Ciencia y Tecnología de Gwangju, en Esta dirección de correo electrónico está protegida contra spambots. Necesita habilitar JavaScript para verlo.; 82-627-156-253.