Desbloqueando valor de IA con datos sin etiquetar: Cómo Hologram prueba percepción autónoma

Los datos son el alma del desarrollo de vehículos autónomos (AV), alimentando los modelos de deep-learning que permiten sistemas de auto-conducción.

Para mantenerse competitivos, proveedores AV registran millones de millas en vías públicas, almacenando petabytes de metraje bruto. Waymo, por ejemplo, ha superado 10 millones de millas reales y 10.000 millones de millas simuladas de datos grabados.

Sin embargo, la industria rara vez hace una pregunta crítica: ¿Cuánto de ese vasto archivo ha sido realmente etiquetado, y qué tan precisas son esas etiquetas?

Phil Koopman, co-fundador y CTO de Edge Case Research, advirtió en una reciente entrevista a EE Times que "nadie puede permitirse etiquetar todo eso".

El etiquetado de datos consume mucho tiempo y es costoso

La anotación exige revisores expertos humanos para ver clips de video cortos y dibujar cajas delimitadoras alrededor de cada vehículo, peatón, señal y semáforo relevante para un algoritmo de conducción autónoma. El proceso es laborioso y caro.

Un artículo en Medium titulado "Data Annotation: The Billion Dollar Business Behind AI Breakthroughs" destaca el auge de servicios gestionados de etiquetado que entregan datasets de alta calidad y específicos de dominio. La pieza señala que algunas startups de auto-conducción pagan a estas firmas hasta millones de dólares por mes.

IEEE Spectrum reportó que Carol Reiley, co-fundadora y presidenta de Drive.ai, dijo: "Miles de personas etiquetan cajas alrededor de objetos. Por cada hora de conducción, se necesitan aproximadamente 800 horas humanas para etiquetar". Estos equipos luchan por mantener el ritmo con la afluencia de datos.

Empresas como Drive.ai exploran asistentes de anotación basados en deep-learning para acelerar el tedioso proceso de etiquetado.

Aprovechando datos sin etiquetar

Koopman cree que hay una alternativa a etiquetar petabytes de metraje: aprovechar los datos mismos. Edge Case Research desarrolló "Hologram", un sistema de análisis de riesgo y stress-testing de percepción IA diseñado para acelerar desarrollo de software de percepción sin anotación exhaustiva.

Hologram procesa el mismo metraje sin etiquetar dos veces. Primero, lo pasa por un motor de percepción baseline. Luego, reprocesa el clip con una perturbación sutil de ruido, creando un escenario "estresado". El ruido expone debilidades ocultas en los límites de decisión de la IA.

Mientras un humano podría ver un objeto borroso y dudar, la IA puede pasarlo por alto completamente o clasificarlo erróneamente. Al revelar tales fallos, Hologram ayuda a desarrolladores a identificar las condiciones exactas que disparan mal comportamiento.

Como el sistema opera en datos sin etiquetar, evita el cuello de botella del etiquetado mientras aún proporciona insights accionables. Hologram marca escenas problemáticas con barras codificadas por color: naranja indica un near-miss que sugiere reentrenamiento, y rojo marca un fallo completo que invita investigación más profunda sobre factores desencadenantes como ruido de fondo o pobre contraste.

Koopman enfatizó que las "salsas secretas" de Hologram —ingeniería avanzada y algoritmos propietarios— le permiten sacar a la luz solo las anomalías más críticas, haciendo la revisión humana mucho más eficiente.

También advirtió que los datasets públicos usados por Hologram están restringidos a la comunidad de investigación y deben emparejarse con el mismo motor de percepción que generó los datos para análisis significativo.

Visualizando el impacto de Hologram

El motor Hologram destaca donde un sistema de percepción falla al detectar una señal de stop, revelando condiciones desencadenantes como fondos ruidosos. (Fuente: Edge Case Research)

La interfaz de Hologram marca near-misses con barras naranjas, instando a reentrenamiento del algoritmo, y barras rojas que marcan fallos completos de detección, permitiendo a diseñadores rastrear causas como proximidad a un poste o bajo contraste.

Hologram ayuda a diseñadores AV a descubrir edge cases donde el software de percepción se comporta extrañamente, potencialmente poniendo en riesgo la seguridad. (Fuente: Edge Case Research)

Alianza estratégica con Ansys

Ansys anunció recientemente una colaboración con Edge Case Research para integrar Hologram dentro de su plataforma de simulación. El objetivo es construir el primer pipeline de simulación integral de la industria para desarrollo de vehículos autónomos. Ansys también trabaja con BMW, que apunta a entregar su primer AV para 2021.

ANSYS y BMW crean cadena de herramientas de simulación para Conducción Autónoma. (Fuente: Ansys)

— Junko Yoshida, Co-Editora Global en Jefe, AspenCore Media, Corresponsal Internacional Jefe, EE Times

>> Este artículo se publicó originalmente en nuestro sitio hermano, EE Times: "Use Unlabeled Data to See If AI Is Just Faking It."