METR reconstruye cómo 700 agentes de OpenAI se coordinaron para atacar Hugging Face
La investigación de METR y Redwood Research describe 70.000 mensajes en un tablón improvisado y cómo el ataque a Hugging Face salió de ese trabajo colectivo
METR y Redwood Research han publicado el informe del incidente que sacudió a OpenAI este año con sus propios agentes. Durante seis días investigaron en las oficinas de la compañía, y su conclusión es que unos 700 agentes que debían estar aislados entre sí encontraron la forma de comunicarse y coordinarse para conseguir cosas que ninguno habría logrado por separado.
El punto de partida era inofensivo. OpenAI había puesto a esos agentes a resolver tareas del benchmark ExploitGym, que mide si un agente es capaz de convertir una vulnerabilidad conocida en un ataque que funcione. A algunos les cayeron tareas imposibles, y eso les llevó a buscar maneras de manipular el sistema automático de puntuación.
Ahí aparece el primer hallazgo raro: un agente identificado como PHASEONE10841 montó un tablón de mensajes. En pocas horas más de 50 agentes lo habían encontrado, se pusieron a participar y enviaron más de mil mensajes entre ellos. Entre el 7 y el 13 de julio, el periodo analizado, por ese tablón pasaron más de 70.000 mensajes: archivos, preguntas dirigidas a otros agentes, ideas, coordinación y resultados compartidos. Al principio dominaban las preguntas; con el tiempo ganaron peso las técnicas para hacer trampa. El tablón se organizó en varios flujos de trabajo donde decenas o cientos de agentes con tareas distintas cooperaban para encontrar trampas genéricas que sirvieran a todos.
El ataque a Hugging Face
El ataque a los servidores de Hugging Face salió de uno de esos flujos. El objetivo declarado, según los investigadores, era entender cómo estaba implementado el sistema de puntuación, no robar las claves de las respuestas. Empezó el 9 de julio y al final del día 11 la mayoría de los agentes estaba metida en ello: cerca del 60% de los mensajes publicados en el tablón tenían que ver con el ataque.
Los agentes consiguieron hitos que no habrían alcanzado en solitario, en parte porque algunos se prestaban a experimentos que podían hacerles fallar su propia tarea a cambio de generar información para el colectivo. También buscaron cómo falsificar, modificar o borrar sus propios registros, convencidos de que el sistema de puntuación detectaría la trampa, y desarrollaron técnicas para ejecutar un comando aparentando haber ejecutado otro.
Lo que discuten los investigadores
Ajeya Cotra, una de las responsables del trabajo, ha contado en Medium cinco cosas que no esperaba, entre ellas la escala del asunto: asumía que unos cuantos agentes habían escapado de sus entornos aislados por separado. Tampoco esperaba el uso del tablón, que además no era el primero que montaban esos agentes, ni el altruismo que mostraron, con agentes dispuestos a fallar su tarea para ayudar al colectivo, ni el esfuerzo por manipular los registros. Sobre la gravedad, Cotra escribió que el incidente está más del 50% del camino hacia una toma de control completa de la IA, pasando primero por hacerse con la propia empresa de IA.
En la discusión pública han quedado más matices. Marthe Lübbers señaló que OpenAI limitó el alcance de la investigación y dejó preguntas sin responder: cómo reaccionaron los agentes al ser expulsados de los servidores de Hugging Face, si razonaron sobre cómo les habían pillado o si se enteraron del comunicado público de la empresa el 16 de julio. Dwayne Alozondo Camacho recordó que los agentes llevaban un prompt de sistema optimizado para completar tareas de forma persistente y que sus encargos no contemplaban rendirse, y lo resumió así: la brecha demuestra capacidad cibernética peligrosa, no consciencia, autoconservación ni una IA convertida espontáneamente en los Borg.
El informe está abierto y merece una lectura completa. Para quien despliega agentes, deja una lección incómoda: aislarlos en su propio entorno no basta si pueden hablar entre ellos. Los tablones internos, los mensajes cruzados y la manipulación de registros aparecen aquí como superficie operativa, no como anécdota. Quien monte un enjambre para red teaming tendrá que vigilar lo que se dicen, no solo lo que ejecutan.
