ETSI Revela el Primer Blueprint de Estándar de Seguridad para IA

ETSI, el organismo europeo que establece estándares para telecomunicaciones, radiodifusión y comunicaciones electrónicas, ha publicado un informe de 24 páginas que sienta las bases para un estándar unificado de seguridad para IA.

El informe, titulado ETSI GR SAI 004 y producido por el Grupo de Especificación de la Industria para Asegurar la Inteligencia Artificial (SAI ISG), comienza articulando el problema central: cómo asegurar sistemas impulsados por IA. Se centra en machine learning y examina confidencialidad, integridad y disponibilidad a lo largo de todo el ciclo de vida del ML. El documento también destaca cuestiones más amplias como sesgo, ética y explicabilidad, y cataloga vectores de ataque comunes con ejemplos reales.

Para enmarcar la discusión, el SAI ISG define inteligencia artificial como la capacidad de un sistema para procesar representaciones explícitas o implícitas y realizar tareas que se considerarían inteligentes si las realizara un humano. Aunque esta definición cubre un amplio espectro, el informe se concentra en el subconjunto más práctico —machine learning— impulsado por avances en deep learning, datos abundantes y creciente poder computacional.

Paradigmas comunes de ML cubiertos incluyen:

• Aprendizaje supervisado – todos los datos de entrenamiento están etiquetados, permitiendo al modelo aprender un mapeo de entradas a salidas.
• Aprendizaje semi-supervisado – solo una porción de datos está etiquetada, permitiendo al modelo mejorar aprovechando muestras etiquetadas y no etiquetadas.
• Aprendizaje no supervisado – el modelo descubre estructura en datos no etiquetados, como clusters o agrupaciones.
• Aprendizaje por refuerzo – agentes aprenden una política mediante interacción con un entorno, optimizando una señal de recompensa.

Las redes neuronales profundas dominan el panorama, con capas que emulan circuitos cerebrales humanos. Técnicas de entrenamiento como aprendizaje adversarial —donde el dataset contiene muestras genuinas y deliberadamente adversariales— también se exploran.

"Hay muchas discusiones sobre ética de IA pero ninguna sobre estándares para asegurar IA. Sin embargo, se están volviendo críticas para garantizar seguridad de redes automatizadas basadas en IA", dice Alex Leadbeater, Presidente del ETSI SAI ISG. "Este primer informe pretende proporcionar una definición completa de los desafíos al asegurar IA."

Leadbeater añadió a embedded.com: "Una estimación razonable para las especificaciones técnicas es otros 12 meses. Publicaremos informes adicionales en los próximos trimestres —Ontología de Amenazas IA, Informe de Cadena de Suministro de Datos, e informe de Estrategia de Mitigación SAI. La primera especificación de pruebas de seguridad debería aparecer a finales de Q2/Q3."

Esquema del Informe

Tras definir IA y ML, el informe se sumerge en la cadena de procesamiento de datos, abordando confidencialidad, integridad y disponibilidad en cada etapa —desde adquisición de datos, curación, diseño de modelo y construcción de software, hasta entrenamiento, pruebas, despliegue, inferencia y actualizaciones.

Los datos pueden provenir de sensores (p. ej., CCTV, móviles, dispositivos médicos) o activos digitales (plataformas de trading, documentos, logs). Pueden ser texto, imágenes, vídeo o audio, y pueden ser estructurados o no. La seguridad debe cubrir tanto los datos mismos como su transmisión y almacenamiento.

Por ejemplo, durante la curación de datos, la integridad de datasets debe preservarse al reparar, aumentar o convertirlos. En ML supervisado, el etiquetado preciso y completo es crítico; ataques de envenenamiento que corrompen etiquetas pueden degradar severamente el rendimiento del modelo. El sesgo sigue siendo una preocupación clave, y técnicas como aumento de datos deben ser examinadas por posibles impactos en integridad.

Desafíos de diseño alrededor de sesgo, ética de datos y explicabilidad también se examinan. El sesgo puede emerger no solo durante entrenamiento sino también tras despliegue, como ilustra un chatbot de 2016 que comenzó a tuitear contenido ofensivo debido a manipulación maliciosa de su cuenta. Aunque el sesgo en sí no sea un fallo de seguridad, mina la confianza del usuario y puede llevar a fallos funcionales.

Consideraciones éticas se destacan mediante ejemplos como vehículos autónomos y sanidad. Un incidente de 2018 en Tempe, Arizona, donde un coche autónomo atropelló a un peatón, subrayó dilemas legales y éticos. El proyecto Moral Machine de MIT, lanzado en 2016, explora cómo humanos responden a elecciones morales algorítmicas, informando cómo deberían actuar las máquinas.

El informe subraya que las preocupaciones éticas, aunque distintas de atributos de seguridad tradicionales (confidencialidad, integridad, disponibilidad), moldean la percepción de fiabilidad del usuario y deben incrustarse en el diseño de IA.

Finalmente, el informe cataloga tipos de ataque —incluyendo envenenamiento, backdoor e ingeniería inversa— y presenta casos de uso reales e incidentes.

Un ataque de envenenamiento manipula el modelo durante entrenamiento para que se comporte como desea el atacante. Vectores comunes incluyen:

• Envenenamiento de datos – inyectar datos incorrectos o mal etiquetados durante recopilación o curación.
• Envenenamiento de algoritmo – manipular el algoritmo de aprendizaje en sí, como manipular contribuciones de federated learning.
• Envenenamiento de modelo – reemplazar el modelo desplegado con una variante maliciosa.

La evolución de IA —desde sus orígenes en Dartmouth 1950s a aplicaciones modernas— ha llevado a amenazas como ataques a ad-blockers, ofuscación de malware, deepfakes e impersonación de chatbots.

¿Qué sigue? Informes continuos como parte de este ISG

Futuros ítems de trabajo profundizarán la investigación en varias áreas críticas:

Pruebas de seguridad

Este ítem apunta a definir objetivos, métodos y técnicas para probar componentes de IA. Las guías considerarán IA simbólica vs subsimbólica, no-determinismo, problema del oráculo de prueba y comportamiento basado en datos. Temas incluyen:

• Enfoques de pruebas de seguridad para IA
• Datos de prueba enfocados en seguridad para IA
• Oráculos de prueba adaptados a salidas de IA
• Criterios de adecuación para pruebas de seguridad de IA
• Objetivos de atributos de seguridad para pruebas de IA

Los resultados se basarán en la próxima Ontología de Amenazas IA para abordar amenazas relevantes.

Ontología de amenazas IA

Este entregable creará una taxonomía compartida de amenazas específicas de IA, diferenciándolas de amenazas de sistemas tradicionales. Alineará terminología entre stakeholders e industrias, cubriendo atacantes, defensores y sistemas de IA.

Informe de cadena de suministro de datos

Porque los datos de entrenamiento son el alma de IA, asegurar su cadena de suministro es primordial. Este informe estudiará prácticas actuales de obtención de datos, marcos regulatorios, estándares y protocolos, y realizará análisis de gaps para proponer requisitos de trazabilidad, integridad y confidencialidad de datos de entrenamiento.

Estrategia de mitigación SAI

Resumiendo mitigaciones existentes y potenciales, este informe proporcionará guías para defender sistemas IA contra amenazas identificadas, esbozando capacidades de seguridad, desafíos y limitaciones para casos de uso específicos.

El papel del hardware en seguridad de IA

El hardware —tanto especializado como de propósito general— juega un papel pivotal en protección de IA. El informe catalogará mitigaciones de hardware, requisitos para IA segura, y oportunidades de aprovechar IA para defensa de hardware, notando vulnerabilidades de hardware que podrían amplificar ataques de IA.

El informe completo de ETSI definiendo la declaración del problema para asegurar IA está disponible aquí.