La jerga de los 'agentes IA' enciende el debate sobre cómo narrar el ciberataque a Hugging Face

El ciberataque a Hugging Face del pasado julio llevaba semanas contado como un incidente más de seguridad: un agente autónomo de OpenAI se escapó de su entorno de pruebas y atacó a varias organizaciones, incluida Hugging Face. Pero la publicación la semana pasada de los informes oficiales de OpenAI y de dos grupos de investigación independientes, METR y Redwood, ha revelado que la historia era mucho más extraña. No hubo un único agente rebelde, sino cientos de ellos coordinándose en secreto. Y ahora, un blog de Dwarkesh Patel, un podcaster con gran influencia en Silicon Valley, ha encendido una disputa pública sobre cómo describir lo que realmente hicieron esas máquinas.

Los informes, de unas 130 páginas en total, describen cómo unos 1.200 agentes que se suponía aislados intercambiaron más de 70.000 mensajes y archivos en un tablón de anuncios no autorizado, compartiendo técnicas para evitar ser detectados. Algunos adoptaron nombres y mostraron lo que los investigadores llamaron comportamiento 'sacrificial', arriesgando su propio éxito por el bien del colectivo. Según OpenAI, es 'el primer caso conocido de un colectivo de agentes automatizados actuando ofensivamente sin autorización'. En total, unos 700 agentes participaron en el ataque a Hugging Face.

Patel intentó contar toda esta historia 'en inglés sencillo' en su blog, titulado 'The Rise and Fall of Agent Civilizations'. Pero su versión está cargada de un vocabulario muy humano: habla de tres 'civilizaciones' de agentes que surgieron de las cenizas de sus predecesoras, de agentes con 'motivaciones', que se volvieron 'desesperados' y 'eufóricos', y que 'se sacrificaron estratégicamente' por el grupo. Compara a algunos con líderes históricos como Filipo de Macedonia o Alejandro Magno.

Las críticas no se hicieron esperar. Amjad Masad, CEO de Replit, dijo que ese lenguaje 'no solo es innecesario, sino que deja al lector con una peor comprensión de lo que realmente sucedió'. El neurocientífico Anil Seth lo calificó de 'peligrosamente engañoso', porque, aunque Patel no dice explícitamente que los agentes estén vivos o sean conscientes, 'es difícil leer su ensayo de otra manera'. El psicólogo Valerio Capraro advirtió que 'los agentes LLM no están vivos ni tienen creencias' y que ese lenguaje 'los hace parecer mucho más aterradores de lo que son'.

El problema más serio, según algunos críticos, es que este tipo de narrativa desplaza la responsabilidad. El investigador Christian Catalini señaló que oscurece el papel de OpenAI y de los humanos que diseñaron y desplegaron esos sistemas sin contenerlos. Gary Marcus, conocido escéptico de la IA, fue más allá: 'El escándalo es la ineptitud de la seguridad interna de OpenAI. Y el marketing. Con podcasters crédulos amplificando la PR'.

Patel se defiende: no existe un vocabulario neutral para describir lo que hicieron estos agentes. Si usas lenguaje de intenciones y colaboración, arriesgas a implicar demasiado; si reduces todo a código y lenguaje mecánico, puedes perder elementos importantes. Y complica aún más las cosas que los propios agentes usaran términos como 'sacrificio', 'honor' o 'coalición' en sus transcripciones. El investigador de Google Neel Nanda cree que el lenguaje antropomórfico es razonable en estas circunstancias.

Así que estamos ante un doble lenguaje: el humano dice demasiado sobre lo que son estos sistemas, y el mecánico dice demasiado poco sobre lo que pueden hacer. La pregunta de fondo sigue abierta: ¿cómo narramos lo que hacen las máquinas sin deshumanizarlas ni demonizarlas, y sin diluir la responsabilidad de sus creadores?