Por Qué la IA Necesita un Enfoque Proactivo de Seguridad: Lecciones de 30+ Años en Ingeniería Electrónica de Alta Potencia

Como ex ingeniero de electrónica de alta potencia, diseñé y probé fuentes de alimentación de alto voltaje para una amplia variedad de aplicaciones desde sistemas tempranos de prototipo de escáneres CAT hasta aceleradores de partículas. Hice lo mismo con sistemas de microondas de alta potencia para todo, desde simuladores para probar efectos de radar en electrónica sensible de aeronaves en un extremo hasta procesar granola en el otro. Por más de 30 años, manejé decenas de kilovoltios de voltaje DC y decenas de kilovatios de potencia de microondas.

Blog de Ed

Después de décadas de trabajo como ingeniero eléctrico, Ed Brown de SAE Media Group está bien entrado en su segunda carrera: Editor Técnico.

"Me di cuenta, mirando hacia mis días de ingeniería y viendo todo lo último y mejor como editor, tengo muchos pensamientos sobre lo que está pasando ahora a la luz de mis experiencias de ingeniería, y me gustaría compartir algunos de ellos ahora." .

Todo tuvo que ser diseñado con márgenes de seguridad tan grandes como prácticos y con el objetivo de ser a prueba de fallos. Eso significaba pensar por adelantado en las posibles formas en que el sistema podría fallar y diseñar para minimizar la posibilidad de que un fallo cause lesión o daño. Por ejemplo, usamos "barras de crowbar" electrónicas que cortocircuitaban la salida de forma segura en microsegundos si un sensor señalaba un aumento repentino en corriente de carga. Pero ese era un sistema activo, que no funcionaría en caso de fallo de energía. Así que usamos una barra de crowbar mecánica de respaldo, sostenida por un electroimán como protección a prueba de fallos. Si fallaba la energía de línea de entrada, una barra de metal caería a través de la salida. Esto era importante porque incluso sin energía podría haber cantidades peligrosas de energía almacenada en bancos de capacitores —algo que una vez descubrí asustadoramente por mí mismo cuando recibí un choque de una fuente de alimentación que pensé que estaba seguramente apagada.

Es con esa mentalidad que pienso sobre inteligencia artificial (IA). No me preocupa que la IA desplace la inteligencia humana y nos convierta a todos en robots. Pero sí me preocupa depender demasiado de ella especialmente en al menos dos áreas: aplicaciones de seguridad en sistemas avanzados de asistencia al conductor (ADAS) y vehículos autónomos y diagnóstico de enfermedades.

Así que, captó mi atención cuando leí sobre "limitaciones inherentes" en IA . Investigadores de la Universidad de Cambridge y la Universidad de Oslo afirman que las redes neuronales que procesan IA pueden ser inestables bajo ciertas condiciones, y que la incertidumbre no se puede arreglar simplemente agregando más datos de entrenamiento. Según los investigadores, necesitamos más trabajo teórico para entender mejor las matemáticas de la computación de IA. Para obtener resultados más confiables, tienes que entender la fuente particular de error y cambiar el método de IA para arreglarlo.

Investigadores de la Universidad de California, Berkeley, y la Universidad de Texas en Austin notaron un problema  cuando fallaron en replicar los resultados prometedores de un estudio de imágenes médicas. "Después de varios meses de trabajo, nos dimos cuenta de que los datos de imagen usados en el artículo habían sido preprocesados", dijo el investigador principal Michael Lustig, profesor de ingeniería eléctrica y ciencias de la computación en UC Berkeley.

Esa fue la fuente del problema. "Queríamos crear conciencia del problema para que los investigadores puedan ser más cuidadosos y publicar resultados más realistas", dijo Lustig.

Descubrieron que la inexactitud fue causada por usar una base de datos pública sesgada para entrenar el sistema. Los investigadores acuñaron el término "crímenes de datos implícitos" para describir resultados de investigación que resultan cuando los algoritmos se desarrollan usando metodología defectuosa.

En una P&R con Billy Hurley, Gerente Editorial Digital de SAE, el Profesor Eckehard Steinbach de la Universidad Técnica de Múnich (TUM) describió situaciones automotrices potencialmente críticas que los modelos de IA "pueden no ser capaces de reconocer, o aún no han descubierto". Por ejemplo, un patrón de frenado repetido podría ser conducción regular en clima cálido pero podría indicar un desenganche inminente si las carreteras están heladas y resbaladizas. Tales patrones pueden ser difíciles de reconocer.

Pero en el lado positivo, el equipo de Steinbach desarrolló tecnología de seguridad que aprende introspectivamente de sus propios errores previos. "Si el auto entra en una situación para la que no ha sido entrenado, pueden surgir problemas", dijo Steinbach. "Tales escenas novedosas causan intervención humana, lo que lleva a que esas escenas se usen como datos de entrenamiento para nuestro enfoque. Mientras nuestro método puede entonces ayudar a detectar tal nuevo entorno desafiante la próxima vez que se encuentre, detectar y gestionar correctamente una escena completamente novedosa la primera vez que se encuentra sigue siendo una tarea desafiante."

Mi conclusión de todo esto es que la IA puede acelerar y mejorar el diagnóstico médico. También puede ayudar a hacer los vehículos mucho más seguros en la carretera. Pero tienes que prestar atención cuidadosa a tus métodos.

Es vital pensar como un ingeniero de alto voltaje cuando estás diseñando un sistema de IA: piensa por adelantado en las posibles formas en que el sistema podría fallar y diseña con el objetivo de minimizar las posibilidades de que eso ocurra. Y si ocurre un fallo, apunta a reducir las posibilidades de lesión o daño.

¿Estás de acuerdo? Comparte tus preguntas y comentarios abajo.

Lee más del Blog de Ed: Diseñando desde Afuera Hacia Adentro vs Desde Adentro Hacia Afuera