Descubriendo los puntos ciegos de la IA para mejorar la seguridad de vehículos autónomos

Un nuevo modelo basado en aprendizaje automático hace que los vehículos sin conductor sean más seguros.

Detecta instancias en las que la IA aprende de ejemplos que podrían causar errores peligrosos en el mundo real.

El desafío de la simulación vs. realidad

Los avances recientes en inteligencia artificial han hecho que los vehículos autónomos y robots sean más inteligentes. Aunque aún en sus inicios, los coches sin conductor son cada vez más comunes y podrían transformar radicalmente nuestro sistema de transporte en los próximos años.

Investigadores del MIT y Microsoft desarrollaron un modelo que descubre los "puntos ciegos" de sistemas autónomos con ayuda humana. Identifica instancias donde estos sistemas aprenden (de ejemplos de entrenamiento o simulaciones) cuando podrían cometer errores en entornos reales.

La IA que impulsa los coches autónomos, por ejemplo, se entrena extensivamente en simulación para preparar el vehículo para casi todos los escenarios posibles en la carretera. Sin embargo, el sistema a veces comete errores en el mundo real: no cambia su comportamiento (donde debería) en ciertos escenarios.

Por ejemplo, si un coche sin conductor (no entrenado exhaustivamente) circula por la autopista y una ambulancia enciende su sirena, el coche puede percibir la ambulancia solo como un coche blanco grande y no apartarse ni ceder el paso a la ambulancia u otros vehículos de emergencia.

Los investigadores quieren cerrar la brecha entre simulación y mundo real integrando la retroalimentación humana y ayudando a los sistemas autónomos a saber mejor lo que no saben.

Cómo el modelo incorpora retroalimentación humana

El sistema autónomo se entrena inicialmente en una simulación virtual donde mapea cada situación a la mejor acción. Luego se despliega en el mundo real, donde los humanos interrumpen el sistema cada vez que realiza acciones incorrectas.

Los humanos pueden proporcionar datos mediante correcciones o demostraciones. Para correcciones, una persona se sienta en el asiento del conductor mientras el vehículo conduce solo por una ruta planificada. Si el sistema realiza acciones inapropiadas, el humano toma el volante y esto envía una señal a la IA de que estaba actuando incorrectamente y qué debería hacer en esa situación.

Referencia: arXiv:1805.08966 | MIT

Alternativamente, los humanos pueden entrenar el sistema demostrando/conduciendo el vehículo en el mundo real. El sistema analiza y compara cada acción humana con lo que habría hecho en esa condición. Cada discrepancia (si la hay) señala la acción inaceptable del sistema.

Manejo de puntos ciegos

Una vez finalizado el entrenamiento manual, el sistema tiene esencialmente una lista de acciones aceptables e inaceptables. El objetivo es detectar situaciones ambiguas (o puntos ciegos) que la IA encuentra difíciles de diferenciar.

Cortesía de los investigadores | MIT

Por ejemplo, el sistema autónomo puede haber circulado junto a un vehículo grande varias veces sin apartarse. Sin embargo, si hace lo mismo con una ambulancia (que se ve exactamente igual para la IA), recibe una señal de retroalimentación que representa una acción inaceptable.

Para manejar este tipo de situaciones, el equipo utilizó un método de aprendizaje automático conocido como algoritmo Dawid-Skene. Este toma todos los puntos ciegos etiquetados como "aceptables" e "inaceptables", los agrega y usa cálculos de probabilidad para detectar patrones en esas etiquetas.

El algoritmo produce un único punto ciego agregado junto con un nivel de confianza para cada situación. También genera un mapa de calor que muestra probabilidad baja a alta de ser un punto ciego para cada situación.

Leer: Nuevo algoritmo para vehículos autónomos puede cambiar de carril agresivamente

En el mundo real, si el modelo mapea una situación como punto ciego con alta probabilidad, puede pedir a un humano la acción apropiada, permitiendo una ejecución más segura. Este tipo de modelo también puede ayudar a robots autónomos a predecir cuándo podrían realizar acciones inapropiadas en condiciones novedosas.