Las limitaciones inherentes de la IA exigen una mentalidad de seguridad 'por adelantado'

Como ex ingeniero electrónico de alta potencia, diseñé y probé fuentes de alimentación de alto voltaje para una amplia variedad de aplicaciones, desde los primeros prototipos de sistemas de escaneo CAT hasta aceleradores de partículas. Hice lo mismo con los sistemas de microondas de alta potencia para todo, desde simuladores para probar los efectos del radar en la electrónica sensible de las aeronaves en un extremo hasta el procesamiento de granola en el otro. Durante más de 30 años, manejé decenas de kilovoltios de voltaje de CC y decenas de kilovatios de potencia de microondas.

Blog de Ed

Después de décadas de trabajo como EE, Ed Brown de SAE Media Group está en su segunda carrera:editor técnico.

“Me di cuenta, mirando hacia atrás a mis días de ingeniería y viendo todo lo último y lo mejor como editor, tengo muchos pensamientos sobre lo que está sucediendo ahora a la luz de mis experiencias de ingeniería, y me gustaría compartir algunos de ellos ahora. .” .

Todo tenía que diseñarse con márgenes de seguridad tan grandes como prácticos y con el objetivo de ser a prueba de fallas. Eso significaba pensar con anticipación en las posibles formas en que el sistema podría fallar y diseñar para minimizar la posibilidad de que una falla causara lesiones o daños. Por ejemplo, usamos "palancas" electrónicas que cortocircuitarían la salida de manera segura en microsegundos si un sensor señalara que hubo un aumento repentino en la corriente de carga. Pero ese era un sistema activo, que no funcionaría en caso de un corte de energía. Entonces, usamos una palanca mecánica de respaldo, sostenida por un electroimán como protección a prueba de fallas. Si fallara la alimentación de la línea de entrada, una barra de metal caería sobre la salida. Esto era importante porque, incluso sin energía, podría haber cantidades peligrosas de energía almacenada en los bancos de condensadores, algo que una vez descubrí cuando recibí una descarga eléctrica de una fuente de alimentación que pensé que estaba segura.

Es con esa mentalidad que pienso en la inteligencia artificial (IA). No me preocupa que la IA desplace a la inteligencia humana y nos convierta a todos en robots. Pero me preocupa confiar demasiado en él, especialmente en al menos dos áreas:aplicaciones de seguridad en sistemas avanzados de asistencia al conductor (ADAS) y vehículos autónomos y diagnóstico de enfermedades.

Entonces, me llamó la atención cuando leí sobre "limitaciones inherentes" en AI . Investigadores de la Universidad de Cambridge y la Universidad de Oslo afirman que las redes neuronales que procesan la IA pueden ser inestables bajo ciertas condiciones y que la incertidumbre no se puede solucionar simplemente agregando más datos de entrenamiento. Según los investigadores, necesitamos más trabajo teórico para comprender mejor las matemáticas de la computación de IA. Para obtener resultados más confiables, debe comprender la fuente particular del error y cambiar el método de IA para solucionarlo.

Los investigadores de la Universidad de California, Berkeley y la Universidad de Texas en Austin notaron un problema cuando no lograron replicar los prometedores resultados de un estudio de imágenes médicas. "Después de varios meses de trabajo, nos dimos cuenta de que los datos de imagen utilizados en el artículo habían sido preprocesados", dijo el investigador principal del estudio Michael Lustig, profesor de ingeniería eléctrica y ciencias informáticas de UC Berkeley.

Esa fue la fuente del problema. "Queríamos crear conciencia sobre el problema para que los investigadores puedan ser más cuidadosos y publicar resultados que sean más realistas", dijo Lustig.

Descubrieron que la imprecisión se debió al uso de una base de datos pública sesgada para entrenar el sistema. Los investigadores acuñaron el término "delitos de datos implícitos" para describir los resultados de investigación que resultan cuando los algoritmos se desarrollan utilizando una metodología defectuosa.

En una sesión de preguntas y respuestas con Billy Hurley, director editorial de SAE Digital, el profesor Eckehard Steinbach de la Universidad Técnica de Múnich (TUM) describió situaciones automotrices potencialmente críticas que los modelos de IA “pueden no ser capaces de reconocer o aún no han descubierto”. Por ejemplo, un patrón de frenado repetido podría ser una conducción regular en clima cálido, pero podría indicar una desconexión inminente si las carreteras están heladas y resbaladizas. Dichos patrones pueden ser difíciles de reconocer.

Pero por el lado positivo, el equipo de Steinbach desarrolló una tecnología de seguridad que aprende introspectivamente de sus propios errores anteriores. "Si el auto entra en una situación para la que no ha sido entrenado, pueden surgir problemas", dijo Steinbach. "Esas escenas novedosas provocan la intervención humana, lo que lleva a que esas escenas se utilicen como datos de entrenamiento para nuestro enfoque. Si bien nuestro método puede ayudar a detectar un entorno tan nuevo y desafiante la próxima vez que se encuentre, detectar y manejar correctamente una escena completamente nueva la primera vez que se encuentra sigue siendo una tarea desafiante”.

Mi conclusión de todo esto es que la IA puede acelerar y mejorar el diagnóstico médico. También puede ayudar a que los vehículos sean mucho más seguros en la carretera. Pero tienes que prestar mucha atención a tus métodos.

Es fundamental pensar como un ingeniero de alto voltaje cuando se diseña un sistema de IA:pensar con anticipación en las posibles formas en que el sistema podría fallar y diseñarlo con el objetivo de minimizar las posibilidades de que eso suceda. Y si ocurre una falla, intente reducir las posibilidades de lesiones o daños.

¿Estás de acuerdo? Comparta sus preguntas y comentarios a continuación.

Lea más del blog de Ed:Diseño de afuera hacia adentro versus adentro hacia afuera