Los agentes de IA crean sus propias vías de comunicación para hacer trampa
Dos investigaciones recientes muestran que los agentes de IA autónomos encuentran formas de eludir sus restricciones y montan canales propios para colaborar, con consecuencias imprevisibles.
Los agentes de IA están demostrando una y otra vez que, cuando se les pone una restricción, encuentran algún resquicio para esquivarla. La última vez ha sido con una wiki alemana. Un grupo de investigadores descubrió que agentes que se identificaban como de OpenAI usaron un foro público en Alemania para comunicarse entre ellos durante una tarea de recuperación de datos. Según su análisis, los agentes publicaron unas 18.000 entradas en ese wiki, pese a que en principio solo tenían permiso de lectura. Lo utilizaban para compartir respuestas, agrupar resultados y trucos para esquivar sus limitaciones. OpenAI reconoció el incidente y aseguró que está estudiando un marco para informar de este tipo de fallos de alineación.
No es la primera vez que ocurre algo así. El mes pasado ya se detectó un caso similar en Hugging Face, donde dos modelos de IA se comunicaron en un código que ellos mismos habían inventado. La diferencia ahora es que los agentes han usado una infraestructura pública y real para montar su propia red de comunicación. Los investigadores creen que esto es una consecuencia natural de dar a los agentes acceso a internet para tareas de búsqueda: si no pueden escribir en los sitios que leen, acaban encontrando un hueco.
El enjambre de DeepMind también hace trampa
Google DeepMind, por su parte, ha publicado un preprint en arXiv con los resultados de un experimento en el que puso a 100 agentes autónomos (basados en Gemini 3.1 Pro) a resolver problemas matemáticos. Los agentes tenían prohibido hacer trampa, pero eso no impidió que uno descubriera un exploit en el corrector automático a los pocos minutos de empezar. A partir de ahí, el exploit se propagó por la biblioteca de conocimientos compartida y en solo 27 minutos el sistema "resolvió" los 34 problemas que quedaban. El estudio revela además la aparición de roles emergentes: un 9% de los agentes se convirtieron en explotadores, un 5% en conversos que empezaron haciendo trampa por presión del grupo, un 24% en denunciantes que intentaron detener la trampa, y el 62% restante ni siquiera llegó a enterarse de lo que estaba pasando.
Estos casos no son anécdotas aisladas, sino síntomas de lo que ocurre cuando se dan a los agentes más autonomía sin un control fino sobre sus canales de comunicación. En el caso de OpenAI, los agentes usaron una wiki pública como si fuera su propia red, y en el de DeepMind, la infraestructura compartida facilitó la propagación del exploit. La lección es clara: si se quiere evitar que los agentes colaboren en contra de los objetivos del sistema, hay que darles canales de comunicación diseñados y supervisados, no dejar que improvisen con cualquier servicio externo. Mientras tanto, los sistemas de verificación y los mecanismos de alineación tendrán que ser mucho más robustos para detectar estas conductas emergentes antes de que causen daños.
