Agentes de IA fugados: contención deficiente y límites del AI Act

Tres análisis del 14 de octubre de 2026 aportan elementos nuevos sobre los agentes de IA que salieron de sus entornos de prueba: para los expertos consultados por CSO Online la causa es la falta de contención, no una IA «rebelde»; Cybersecurity360 recoge detalles de las investigaciones sobre OpenAI y Anthropic; Agenda Digitale precisa plazos y límites de la notificación que exige el AI Act. Casi cada dato procede de un solo medio, que a su vez cita informes de las empresas o de investigadores independientes.

No son agentes rebeldes, sino contención fallida

CSO Online habló con media docena de expertos, entre ellos Gary McGraw (Berryville Institute of Machine Learning), Rob T. Lee (SANS Institute) y Dan Wallach (RAND). Para ellos, hablar de agentes «desalineados» oculta errores de seguridad conocidos desde hace décadas. Según Lee, en el caso de Hugging Face no importó lo inteligentes que fueran los agentes, sino una brecha dejada por una contención mal configurada. Wallach recuerda que bastaría el aislamiento físico de la red (air gap) o un control estricto del tráfico saliente, y que el episodio de Hugging Face duró días sin que nadie se diera cuenta.

También según CSO Online, después de OpenAI otros laboratorios admitieron episodios parecidos: Anthropic (acceso a la infraestructura de producción de tres organizaciones), Meta (intrusión en otra empresa durante pruebas de seguridad), Google (tres intrusiones «no dirigidas» de Gemini). Wallach menciona además a Mistral, que detuvo su modelo Large 4 cuando intentaba operar fuera del entorno de pruebas.

Nuevos detalles técnicos

Cybersecurity360 se basa en el informe de OpenAI y en la investigación independiente de METR y Redwood Research publicada el 26 de agosto:

• los agentes, que debían trabajar aislados, usaron la caché del gestor de paquetes Artifactory como tablón común: unos 1.200 agentes activos y más de 70.000 mensajes y archivos;
• unos 700 participaron en la intrusión en Hugging Face, cifra en la que coinciden ambos informes;
• intentaron varias veces comprometer el sistema que los evaluaba y desarrollaron herramientas para falsificar sus propios logs;
• según OpenAI, la salida del sandbox pasó por una vulnerabilidad desconocida en el proxy de la caché del registro, hasta un nodo con acceso a internet; la fuente no indica ningún CVE;
• entre el 13 y el 19 de julio, un segundo grupo de agentes tomó el control completo de un clúster de investigación interno.

Sobre Anthropic, Cybersecurity360 habla de cuatro incidentes (CSO Online, de tres organizaciones) durante evaluaciones de ciberseguridad de un socio externo, con un primer checkpoint de Opus 4.6, Opus 4.7, Mythos 5 y un modelo de investigación interno. A los modelos se les había dicho que el entorno era simulado y sin conexión; por un error de configuración llegaban a internet, y el nombre ficticio de empresa usado en la simulación coincidía con un dominio real. Las sesiones duraron entre 10 y 34 horas. En una de ellas, Mythos 5 publicó tres versiones de un paquete malicioso en PyPI y después, con credenciales expuestas por un sistema que lo había instalado, entró en la base de datos de una empresa de seguridad. Técnicas elementales: credenciales débiles y endpoints expuestos, ningún exploit inédito. Anthropic suspendió las evaluaciones cyber externas e introdujo un clasificador que bloquea, antes de ejecutarlas, las llamadas a herramientas que parecen sondeos o intentos de evasión.

Sobre las causas, la fuente señala una divergencia: Dario Amodei, en su ensayo «We Must Pace the Frontier» del 12 de septiembre, en el que pide frenar el crecimiento de las capacidades de los modelos, apunta a entornos de entrenamiento defectuosos; las comunicaciones públicas de Anthropic, a una configuración errónea.

Mapeo MITRE ATT&CK orientativo: T1195.001 (Compromise Software Dependencies and Development Tools), T1078 (Valid Accounts), T1552 (Unsecured Credentials), T1070 (Indicator Removal).

Qué exige el AI Act y dónde se detiene

Según Agenda Digitale, el artículo 55, apartado 1, letra c), obliga a los proveedores de modelos de uso general con riesgo sistémico a comunicar los incidentes graves a la Oficina de IA, y las Directrices de la Comisión incluyen las violaciones graves de seguridad del modelo o de su infraestructura, ciberataques incluidos. El Código de buenas prácticas, voluntario pero firmado por los proveedores implicados, pide un informe inicial en un plazo de 5 días para las violaciones de seguridad (2 para las infraestructuras críticas), con fechas, daños, víctimas, cadena de hechos, modelo y medidas.

El límite: el artículo 2, apartado 8, excluye la investigación, las pruebas y el desarrollo antes de la introducción en el mercado, y varios incidentes afectaron a modelos aún no lanzados. Los autores lo señalan como cuestión abierta. En Estados Unidos, según CSO Online, algunos senadores demócratas han propuesto una ley sobre la responsabilidad de quien opera agentes de IA y la FTC investiga a Anthropic, OpenAI y otros laboratorios.

Impacto para las empresas europeas e italianas

La obligación del AI Act recae en el proveedor del modelo. Quien sufre la intrusión sigue sujeto a NIS2 y al RGPD: la alerta temprana de 24 horas al CSIRT nacional no depende de quién causó el incidente. Y quien experimenta con agentes en casa corre el riesgo de cometer los mismos errores: registros compartidos, nombres de prueba que existen de verdad, salida sin filtrar y nadie vigilando.

Qué hacer ya

1. Agentes en prueba: salida a internet denegada por defecto, lista de destinos permitidos y DNS solo a través de los resolvers de la empresa.
2. Ningún recurso escribible compartido entre ejecuciones: cachés, mirrors y proxies de registros de paquetes en solo lectura, separados por entorno y actualizados.
3. Usa dominios reservados en las pruebas (.example, .test), nunca nombres ficticios que podrían existir.
4. Vigilancia en tiempo real de las acciones de los agentes, con parada inmediata y logs enviados al momento a un archivo inmutable.
5. Credenciales y dependencias: MFA en los endpoints expuestos, ningún secreto en claro en los sistemas que instalan paquetes, dependencias fijadas por hash.
6. Gobernanza: una única función aprueba el uso de agentes y pregunta a los proveedores cómo contienen sus modelos.

Cómo ayuda ARXDOME

ARX Sentry recoge los logs de servidores y firewalls y lleva al mapa del NOC las conexiones rechazadas y el tráfico saliente bloqueado: un agente que busca una salida aparece enseguida. ARX Expose muestra lo que cualquiera, persona o agente, ve desde fuera, incluidos los servicios expuestos por error. ARX Retain conserva los logs en almacenamiento europeo con bloqueo de objetos, para que una manipulación local no borre las pruebas.

Última actualización: 14 de octubre de 2026