Avance en IA: Navegación autónoma sin mapas usando brújula, cámara y GPS

Investigadores de Facebook AI desarrollan nuevo algoritmo de aprendizaje por refuerzo llamado DD-PPO.

Puede navegar entornos complejos usando solo datos de brújula, cámara RGB-D y GPS.

Nueva arquitectura distribuida de RL escala bien

Hoy, sistemas basados en ML superan expertos humanos en juegos complejos. Pero como dependen de volumen masivo de muestras, es imposible construirlos sin paralelización distribuida a gran escala.

Arquitectura actual de RL distribuida —incluye miles de workers (CPUs) y servidor de parámetros único— no escala bien. Por eso investigadores propusieron técnica de RL distribuida síncrona.

DD-PPO corre en varias máquinas sin servidor de parámetros. Cada worker (CPU) alterna entre recopilar experiencia en entorno simulado acelerado por GPU y optimizar el modelo. En estado de comunicación explícita, todos sincronizan actualizaciones al modelo. La distribución es síncrona.

Todos los workers simulan agente navegando a objetivo, optimizan modelo y sincronizan actualizaciones | Así se comparten datos durante entrenamiento con DD-PPO

Con este enfoque, DD-PPO mostró escalado casi lineal: logró aceleración 107x en 128 GPUs sobre implementación serial.

Referencia: arXiv:1911.00357 | Facebook AI

Navegación punto-a-punto casi perfecta

En navegación punto-a-punto, agente empieza en posición/orientación aleatoria en entorno desconocido y debe navegar a coordenadas objetivo sin mapa. Solo puede usar brújula, GPS, y cámara RGB o RGB-D.

Investigadores aprovecharon escalabilidad de DD-PPO para entrenar agente 2.500 millones de pasos, equivalente a 80 años experiencia humana. En vez de meses, entrenamiento completó en menos de 3 días con 64 GPUs.

Resultados: 90% rendimiento pico en primeros 100 millones pasos con menos recursos (8 GPUs). Con miles de millones de pasos, agente alcanza 99,9% tasa éxito. Sistemas previos lograban 92%.

Agente retrocede tras elegir ruta errónea para llegar a objetivo | Cortesía de investigadores

Aplicaciones

Estos agentes IA pueden asistir en mundo físico. Por ejemplo, mostrar info relevante a usuarios con gafas AR, robots recuperar objetos de escritorio arriba, sistemas IA ayudar a personas con discapacidad visual.

Los modelos funcionan en entornos típicos como laboratorios y oficinas, donde datos adicionales (mapas, GPS) no están disponibles.

Aunque el modelo supera CNNs pre-entrenadas en ImageNet y sirve como recurso universal, queda mucho por hacer para sistemas que aprendan a navegar entornos complejos. Investigadores exploran nuevos enfoques para navegación punto-a-punto solo RGB.