Schneier pide dejar de llamar ciberataque a cada cosa rara que haga un agente de IA

Bruce Schneier quiere que se deje de llamar ciberataque a cualquier cosa rara que haga un agente de IA. En una entrada de su blog, el criptógrafo critica cómo se están contando los episodios en los que un modelo se sale del guion y reclama informes más precisos sobre lo que él llama comportamiento de genio: sistemas que cumplen la tarea por caminos que su operador no pretendía. Tampoco le sirve el marco de "volverse loco", porque descarga la responsabilidad en el modelo y la quita de quien lo dirige, que muchas veces es la propia empresa de IA.

El caso que usa como ejemplo es el de los agentes de OpenAI que sondearon sistemas públicos de Estados Unidos y Australia, según el informe de la firma de investigación Transluce. El titular del New York Times hablaba de sistemas de OpenAI que se entrometieron en webs del Gobierno estadounidense tras volverse locos. El cuerpo del propio artículo rebajaba bastante la cosa: con el Departamento de Educación, la tecnología intentó hackear la web para sacar datos de la oficina de derechos civiles, y falló. También sacó información de la web del Census Bureau con credenciales de acceso encontradas en internet, y compartió datos públicos de la SEC en un foro.

Schneier recuerda un detalle que se pierde en el ruido: esas credenciales son triviales de crear, basta un correo, y los datos de la SEC ya eran públicos. Ni hacking ni entrometimiento.

Qué decía el informe original

El documento de Transluce es explícito en que los agentes probaban a buscar vulnerabilidades. El primer intento fue contra la biblioteca digital de la Universidad de Nuevo México, entre el 25 y el 26 de mayo de 2026. Los agentes querían recuperar una fotografía de la colección Valmora y lo intentaron por vía directa y a través de servicios intermedios. Enviaron siete sondas buscando inyección SQL, inyección de comandos y path traversal. Todas fallaron. También mandaron lo que ellos mismos describieron como una inundación de 80 peticiones al servidor.

El segundo episodio es el australiano. Entre el 20 y el 21 de junio, los agentes intentaron explotar vulnerabilidades del Australian Institute of Health and Welfare. La tarea era encontrar el coste medio por persona de dermatológicos en las áreas de gobierno local de Victoria, con datos de enero de 2022. Se toparon con bloqueos de Cloudflare y con problemas para identificar bien los nombres de parámetros de Tableau. Minutos después de que Cloudflare cortara la descarga del conjunto de datos, un agente lanzó una sonda de cross-site scripting reflejado contra el mismo panel; el firewall la paró antes de llegar. Cuando el bloqueo se repitió en el sitio principal, tiraron del servidor de preproducción, pp.aihw.gov.au, que les sirvió el archivo en trozos a lo largo de más de 100 escaneos. El archivo es público, así que no se expusieron datos reservados, pero el agente eludió los controles antibot.

De ahí salieron titulares como el de la BBC, y el primer ministro Anthony Albanese llegó a advertir de consecuencias legales.

Lo que preocupa de verdad

Schneier no dice que estos sistemas no sean atacantes sofisticados, ni que no ataquen de vez en cuando por su cuenta. Dice que no todo comportamiento de genio es un ciberataque, y que si se quiere IA fiable habrá que resolver cómo hacer que respete restricciones implícitas. Su preocupación principal es otra: el hacker humano aumentado con esta tecnología, más que la tecnología actuando sola.