Sistema IA de TUM predice fallos de coches autónomos hasta 7 segundos antes

Un nuevo modelo para coches autónomos aprende de fallos pasados detectándolos con antelación, a veces hasta 7 segundos antes.

En vehículos autónomos, una situación de conducción desconocida o compleja (como una intersección abarrotada) puede causar desconexión del sistema de autoconducción, ya sea por medidas de seguridad automáticas o intervención humana.

Un modelo de inteligencia artificial de la Universidad Técnica de Múnich (TUM) usa miles de situaciones reales de tráfico —específicamente, secuencias de desconexión grabadas en pruebas de conducción— como datos de entrenamiento para predecir fallos futuros.

Enfoque de "caja negra" introspectivo

Para predecir fallos lo antes posible, el enfoque de aprendizaje automático clasifica secuencias de datos de sensores como fallo o éxito. Si el sistema detecta una nueva situación de conducción que el sistema de control no pudo manejar antes, el conductor será avisado con antelación de una posible situación crítica.

La tecnología de seguridad desarrollada en TUM usa sensores y cámaras para capturar condiciones circundantes: ángulo del volante, estado de la carretera, clima, visibilidad y velocidad. El sistema IA, basado en una red neuronal recurrente (RNN) y miles de situaciones reales, aprende a reconocer patrones con los datos.

El propio coche se trata como una caja negra, enfocándose solo en entrada y salida de datos. El sistema aprende introspectivamente de sus propios errores previos, según el equipo de Múnich.

"La gran ventaja de nuestra tecnología: ignoramos completamente lo que el coche piensa. En su lugar nos limitamos a datos basados en lo que realmente ocurre y buscamos patrones", dijo el investigador principal Prof. Eckehard Steinbach, también miembro de la Junta Directiva de la Munich School of Robotics and Machine Intelligence (MSRM) en TUM. "Así, la IA descubre situaciones potencialmente críticas que los modelos pueden no ser capaces de reconocer, o aún no han descubierto."

El sistema ofrece una función de seguridad que sabe cuándo y dónde tienen debilidades los coches, dice Steinbach.

Combinación de modelos y validación

El método combina dos tipos de sensores. Un modelo basado en imágenes aprende a detectar situaciones generalmente desafiantes, como una calle urbana concurrida. Un modelo adicional basado en datos detecta cambios rápidos inmediatamente antes de un fallo, como frenado brusco o volantazo. El resultado de los modelos individuales se fusiona promediando las probabilidades individuales de fallo.

El Grupo BMW evaluó el "enfoque de predicción de fallos introspectivo" mediante 14 horas de conducción autónoma en vías públicas, analizando ~2500 situaciones donde el conductor intervino.

Según un estudio de diciembre 2020, la aproximación de fusión tardía permite predecir fallos con >85% precisión —hasta siete segundos antes— y tasa de falsos positivos del 20%.

Entrevista con Tech Briefs

Tech Briefs: "Ignoramos lo que el coche piensa... buscamos patrones". ¿Ejemplos de patrones que un modelo puede no reconocer?

Prof. Eckehard Steinbach: En nuestro trabajo, observamos el estado del coche (frenado, dirección) e imágenes de cámara para detectar patrones que llevan a desconexiones. Aunque esto permite detectar gran porcentaje de situaciones donde humano debe tomar el control, no toda información de una escena de conducción se captura en estos datos.

Ejemplo simple: patrón de frenadas repetidas puede ser conducción normal en clima cálido, pero indicar desconexión inminente si carreteras están heladas y resbaladizas. Si imágenes de cámara no capturan esta info del entorno, ese patrón no puede distinguir entre conducción normal y alterada. Aunque info de cámara suele ser suficiente para evaluar condiciones de la carretera, tales patrones pueden ser difíciles de reconocer.

Tech Briefs: ¿Por qué es ventajoso "ignorar lo que el coche piensa"?

Prof. Eckehard Steinbach: Si el coche evalúa una situación completamente bien, no habría necesidad de intervención del conductor. Sin embargo, el exceso de confianza es un reto significativo de muchos modelos en conducción autónoma. Al registrar y aprender de esas situaciones, podemos detectar si una nueva situación es problemática incluso si el coche está sobreconfiado.

Además, observar secuencias de patrones sobre estado y entorno permite a nuestro modelo extrapolar efectivamente al futuro para predecir desconexiones hasta siete segundos antes. Tan temprano, la evaluación del coche de la escena podría seguir siendo completamente correcta, significando que no podría usarse para predecir el escenario desafiante. Los datos brutos recopilados, en cambio, ya podrían contener patrones que llevaron a fallos antes y por tanto permiten predecir desconexiones con antelación.

Tech Briefs: ¿Cómo determina el sistema un escenario "crítico" siete segundos antes? ¿Qué pasa tras la detección? ¿Qué ve el conductor y qué hace el coche?

Prof. Eckehard Steinbach: La clave es observar secuencias de datos y buscar patrones temporales. Al considerar los últimos tres segundos de datos grabados, nuestro modelo detecta patrones que eventualmente evolucionan a escenario donde el conductor humano debe tomar control. Si sabes qué buscar, puedes detectar primeros signos de situaciones desafiantes muchos segundos antes.

Nuestro método logra esto ~85% de las veces siete segundos antes. El 15% restante se explica porque algunos escenarios desafiantes se desarrollan muy rápido, como peatones surgiendo de entre coches aparcados. Cuando ocurre la detección, el conductor debe ser alertado.

Tech Briefs: ¿Cómo se alerta al conductor?

Prof. Eckehard Steinbach: La implementación de esta alerta depende de la interfaz hombre-máquina elegida, pero el conductor debe saber que su control será requerido en los próximos siete segundos. Este tiempo también permite al coche planear una maniobra de parada segura si el conductor no reacciona.

Tech Briefs: ¿Cómo fue la prueba? ¿Detección más impresionante?

Prof. Eckehard Steinbach: Como las pruebas las hizo BMW Group, no participé dentro del coche. Nuestro grupo trabajó luego con grabaciones. Lo más impresionante es lo temprana que suele ser la predicción. En el momento de la detección, el escenario puede parecer normal, solo para que el tráfico en la siguiente intersección se vuelva complicado y abarrotado donde el humano tomó control segundos después para asegurar seguridad.

Tech Briefs: ¿Qué sigue siendo desafiante para coches autónomos?

Prof. Eckehard Steinbach: Un reto importante es datos novedosos o fuera de distribución. Si el coche entra en situación no entrenada u ve objeto desconocido, surgen problemas. Tales escenas novedosas causan intervención humana, que se usan como datos de entrenamiento para nuestro enfoque. Aunque nuestro método puede ayudar a detectar tal entorno desafiante la próxima vez, detectar y gestionar correctamente una escena totalmente novedosa la primera vez sigue siendo un reto.