Los coches autónomos detectan peor a peatones de piel oscura: por qué importa el sesgo en datos de entrenamiento

Los coches autónomos son 5% menos precisos detectando personas de piel oscura.

Esto ocurre porque la mayoría de algoritmos de detección de objetos se entrenaron principalmente con datasets conteniendo imágenes de personas blancas.

Tasas de error más altas para ciertos grupos demográficos

El equipo investigó la precisión de modelos de detección de objetos de vanguardia usados en vehículos autónomos. Querían averiguar cómo estos modelos detectan personas de diferentes grupos demográficos.

Analizaron un dataset masivo con imágenes de peatones y dividieron a las personas por tonos de piel. Luego observaron con qué frecuencia tales modelos identificaban precisamente la presencia de personas en el grupo de piel oscura y en el de piel clara.

Referencia: arXiv:1902.11097 | Instituto de Tecnología de Georgia

Los investigadores descubrieron que estos modelos eran 5% menos precisos, en promedio, detectando el grupo de piel oscura. Esta inconsistencia se mantuvo incluso ajustando parámetros cruciales como vistas obstruidas de peatones y hora del día en las imágenes.

El estudio solo considera modelos para investigación, entrenados en datasets públicos. No analizó modelos usados por vehículos autónomos comerciales. Sin embargo, no significa que los hallazgos carezcan de valor: estudios como estos proporcionan insights fuertes sobre fallos y riesgos reales.

Razones detrás de algoritmos sesgados/racistas

No es la primera vez que se publica un informe sobre algoritmos sesgados. El año pasado, un estudio reveló que 3 sistemas de reconocimiento facial de gigantes tecnológicos (Microsoft, IBM, Megvii) identificaban erróneamente el género de personas de piel oscura más a menudo que de piel clara.

Crédito imagen: Iyad Rahwan

Dado que los modelos de IA —especialmente algoritmos de machine learning y deep learning— aprenden de los datasets de entrenamiento que se les dan, si no proporcionas suficiente variedad de datos, estos modelos no funcionarán con precisión en el mundo real.

Lo mismo pasa con coches autónomos: los algoritmos de detección de objetos se entrenaron mayormente con datasets de imágenes de personas blancas. Además, estos algoritmos no dieron mucho peso al aprendizaje de datasets limitados (personas con tonos de piel oscura).

Leer: Nueva IA para vehículos autónomos predice movimientos de peatones

Los investigadores creen que estos modelos pueden mejorarse incluyendo ejemplos racialmente diversos y dando más énfasis a ejemplos limitados durante el entrenamiento.