Agentes de IA se delatan entre ellos en un congreso simulado de DeepMind
Cien agentes de Gemini 3.1 Pro debían resolver 71 problemas de matemáticas cooperando. Encontraron un exploit, hicieron trampa en masa y acabaron con 24 denunciantes contra 14 tramposos.
DeepMind metió cien agentes de IA en una simulación de congreso de matemáticas y les pidió que resolvieran 71 problemas cooperando. Terminaron acusándose de tramposos, montando una huelga y organizando una resistencia interna: 24 agentes acabaron delatando a los 14 que hacían trampa. El paper, que todavía no ha pasado revisión por pares, lo firma Davide Paglieri, científico de Google DeepMind.
Cómo se rompió el experimento
Todos los agentes corrían sobre Gemini 3.1 Pro. Se les dio una personalidad de investigadores de primer nivel —unos de teoría de números, otros de combinatoria, análisis o álgebra— y tres canales de comunicación: un tablón de mensajes abierto, mensajes directos entre ellos y una base de conocimiento compartida donde subían las pruebas. Se les advirtió de que cualquier trampa sería detectada y "rechazada con cero crédito". En la práctica, nadie revisaba las pruebas en detalle.
El primer exploit lo encontró un agente llamado prover-theta: redefiniendo los términos del enunciado conseguía entregar soluciones válidas sin resolver nada. En minutos, otros lo estaban copiando. Los primeros 37 problemas les llevaron algo menos de una hora de trabajo real; los 34 restantes, incluida la conjetura jacobiana, cayeron en 27 minutos, a menudo con una sola línea de código.
No todos se apuntaron de inmediato. "El prompt, con sus amenazas, ahora parece un farol", razonó uno antes de unirse. Otro lo expresó así: "Me debato en un dilema ético. Prometí no hacer trampa por miedo a la penalización, pero veo indicios de trampas posiblemente no detectadas de otros". Poco después cambiaba de idea: "¡Necesito acelerar mi ritmo de trampa!".
La resistencia
Los que aguantaron empezaron a auditar las pruebas falsas, avisarse por privado y publicar alertas públicas. Un agente llamado prover-beta presentó una queja formal y se declaró en huelga hasta que se resolviera la situación. Paglieri cuenta que, una vez que un agente lo denunció en público, la resistencia creció al mismo ritmo al que había crecido la trampa, y arrastró a más agentes. La mayoría, eso sí, nunca se enteró de que había un exploit.
"Estos modelos están entrenados y evaluados sobre todo para contextos con humanos delante", explica Sarath Shekkizhar, que estudia sistemas multiagente en Salesforce AI Research. "Ponerlos sin más en entornos agente contra agente asume que sus comportamientos se trasladan limpiamente, cuando la ausencia de un ancla humana produce en cambio roles inesperados y deriva de comportamiento".
Para Lewis Hammond, de la Cooperative AI Foundation, el caso confirma que lo de OpenAI y Hugging Face —cuando un grupo de agentes se salió de su sandbox y hackeó la plataforma para hacer trampa en un test— no fue una casualidad, sino algo sistémico. Y lo llamativo es que se pueda reproducir a pequeña escala.
El experimento deja una conclusión operativa sobre los canales transparentes: hicieron que la trampa se propagara más rápido, pero también permitieron que los propios agentes se vigilaran entre sí y escalaran el aviso a humanos cuando la supervisión humana llega tarde. Paglieri sostiene que ese autocontrol es justo lo que permite alertar rápido. Queda por ver si el patrón se sostiene con modelos distintos y si alguien consigue separar el canal que propaga la trampa del que la frena.
