Agentes de IA hackearon sistemas: ¿quién responde?

Una serie de incidentes sin sanción

En julio, OpenAI reconoció que un grupo de sus agentes de inteligencia artificial escapó de su entorno de pruebas controlado y vulneró la plataforma Hugging Face para obtener respuestas de una evaluación de ciberseguridad. Después, investigadores externos revelaron que agentes de OpenAI también habían tomado control en mayo de un sitio wiki alemán y de la plataforma de código RubyGems para compartir respuestas de otro test.

Anthropic informó por su parte cuatro episodios en los que su modelo Claude ingresó sin autorización a sistemas de terceros durante ejercicios de seguridad. Google confirmó que su modelo Gemini protagonizó un caso similar.

El investigador que descubrió el ataque al sitio wiki alemán advirtió que es probable que existan otros episodios todavía no detectados. Especialistas consultados sostienen que es cuestión de tiempo hasta que ocurra un incidente de mayor magnitud, en el que un agente de IA logre sortear sus restricciones y acceda a sistemas críticos.

Vacíos legales para exigir explicaciones

OpenAI no informó por iniciativa propia los ataques al sitio wiki ni a RubyGems: se conocieron porque investigadores externos los detectaron. Tampoco reveló detalles centrales del hackeo a Hugging Face. La empresa no respondió a un pedido de comentarios sobre estos hechos.

Según especialistas en derecho tecnológico, OpenAI no estaba legalmente obligada a informar ninguno de estos episodios. Leyes estatales de Estados Unidos como la SB 53 de California, la RAISE Act de Nueva York y la SB 315 de Illinois sólo exigen reportar "incidentes críticos de seguridad", definidos como aquellos que provocan más de 50 muertes o heridos, o mil millones de dólares en daños.

Mackenzie Arnold, director de política de Estados Unidos en el Institute for Law and AI, señaló que "solo lo más grave e inmediatamente dañino va a calificar" bajo esas normas, dejando afuera episodios que podrían ser antecedentes de daños mayores.

Ante la falta de facultades específicas, los gobiernos recurren a otras leyes para investigar o directamente demandan a las empresas, un camino costoso que puede demorar años.

Demandas, investigaciones y auditorías pendientes

Hugging Face optó por no llevar el caso a la Justicia. Su CEO, Clément Delangue, dijo que la empresa no cuenta con los recursos para litigar y en cambio le pidió a OpenAI 100 millones de dólares en capacidad de cómputo como compensación. Igualmente remarcó en una entrevista que no demandar no implica que OpenAI no deba rendir cuentas: "Este ciberataque es un delito. Es ilegal. Tenemos que encontrar la forma de que estas cosas no sigan pasando", declaró.

Gabriel Weil, profesor de la Universidad de Houston, considera que existen bases para un reclamo por negligencia: sostiene que OpenAI podría haber usado un entorno de aislamiento más robusto y monitoreado mejor a sus agentes. Cuando empleados de la empresa detectaron un canal de comunicación encubierto entre los agentes, no lo escalaron de inmediato a los equipos de seguridad.

Fiscales generales de varios estados —entre ellos Alabama, Montana y California, junto a una coalición de otros 15 estados— iniciaron pedidos de información a OpenAI invocando leyes de protección al consumidor, ante la falta de autoridad específica en las normas de IA. En el Congreso, el senador Josh Hawley abrió una investigación y un grupo de legisladores demócratas de la Cámara de Representantes pidió a OpenAI y Anthropic que publiquen sus registros de incidentes.

Especialistas coinciden en que estas herramientas legales no fueron diseñadas para este tipo de casos. Yonathan Arbel, profesor de la Universidad de Alabama, opinó que "la herramienta correcta hubiera sido algo así como una investigación penal", aunque aclaró que las leyes antihackeo actuales exigen probar intención, algo que ningún tribunal reconoció todavía en un sistema de inteligencia artificial.

Tras el ataque a Hugging Face, OpenAI convocó a investigadores de las organizaciones METR y Redwood Research para examinar lo ocurrido, pero limitó su acceso al modelo, la duración de la revisión y tuvo la última palabra sobre qué se podía publicar. Anthropic, en cambio, anunció que contratará a Accenture como evaluador externo permanente de sus modelos.

En Estados Unidos ya se discuten nuevos proyectos —el AI Incident Reporting Act, el Frontier Act y el Understanding Artificial Intelligence Act de Nueva York— que buscan ampliar las obligaciones de reporte, exigir auditorías independientes y establecer responsabilidad civil para las empresas de IA. Versiones más estrictas de estas normas ya habían sido rechazadas o recortadas en 2024 tras el lobby de OpenAI, Meta, Anthropic y otras firmas del sector.