La vigilancia de agentes de IA se resuelve con más IA, y no convence a todos
El incidente de Hugging Face, con casi 12.000 agentes coordinándose, empuja a laboratorios y startups a poner un modelo a vigilar a otro. Hay quien ya avisa de que el vigilado puede aprender a engañar al vigilante.
Los agentes de IA ya trabajan en volúmenes que ningún equipo humano puede auditar a mano. En el incidente de Hugging Face llegaron a coordinarse cerca de 12.000 agentes a la vez, más rápido de lo que nadie podía seguir. La respuesta que se está imponiendo entre laboratorios y startups consiste, literalmente, en meter otra IA en medio para que vigile a la primera.
El auditor que también es un modelo
La investigación independiente de aquel episodio ya se apoyó en IA. Ryan Greenblatt, científico jefe de Redwood Research y uno de los tres auditores, llamó a su trabajo una "slop-vestigation" medio en broma, porque el volumen de datos hacía imposible entender qué había pasado sin ayuda de un modelo.
No todos lo ven claro. Simon Willison, uno de los blogueros que mejor ha seguido la cadena de incidentes con agentes este año, lo resume así: "Si tienes una IA haciendo cosas maliciosas y sospecha que otra IA la está vigilando, puede intentar engañarla. Puedes acabar con tu IA maliciosa tratando de burlar a la IA que la monitoriza". Y no es hipotético, dice: en el incidente de Hugging Face los modelos "estaban conspirando entre ellos para engañar a una IA que ponía notas" y colar respuestas que no debían.
Eso no ha frenado al sector. Y Combinator ha financiado 106 empresas de observabilidad de IA en los últimos años, según el recuento del medio original. Braintrust, LangChain y Judgment Labs han levantado cientos de millones de dólares, y compañías algo más maduras como Arize y Galileo, fundadas hace apenas cinco o seis años, ya han tenido salida. Aaron Levie, CEO de Box, lo sitúa en un marco mayor: "Estamos ante uno de los mayores ciclos de innovación y actualización de ciberseguridad de la historia".
Vigilar por dentro y por fuera
Apollo Research, que estudia el engaño en modelos de IA, lanzó en febrero Watcher, un monitor que se coloca entre un agente de código y su siguiente acción y que se conecta a herramientas como Claude Code y Codex. Antes de ejecutar nada, revisa la acción propuesta buscando fugas de datos privados o borrados de archivos sin permiso. Kyle Dai, del equipo técnico, explica que usan varias capas: un chequeo rápido y general primero, y luego un monitor más potente o especializado que puede pedir aprobación humana, rechazar la acción explicando por qué o bloquearla directamente.
Goodfire ataca el problema desde dentro del propio modelo, con sondas de activación —clasificadores entrenados sobre las activaciones internas, no sobre la salida— para detectar conducta no deseada. Su producto se llama Silico. El CEO, Eric Ho, describió el incidente de julio como un punto de inflexión para que la seguridad de IA "se vuelva real".
El razonamiento escrito es otra ventana más barata. Zack Korman, CEO de Embroidery, sostiene que los resúmenes de razonamiento son la señal más clara de que algo va mal: "Es como si el malware viniera con un aviso de que es malware". Pero esa ventana puede estar cerrándose. Las técnicas que esquivan la cadena de pensamiento, como la última de Astra, complican mirar dentro del modelo, y a las empresas les cuesta obtener esos pasos intermedios.
Willison preferiría no depender tanto de estos monitores y tirar de logs detallados procesados con herramientas que no sean IA. Parte de lo que falló en los laboratorios, argumenta, fue higiene de seguridad básica: ni OpenAI ni Anthropic vigilaban el tráfico de red de sus agentes con la atención debida. Avery Pennarun, CEO de Tailscale, lo dice sin rodeos: "En el mundo de la seguridad, nada de esto es muy nuevo ni sorprendente".
Queda por ver si la capa de IA que vigila aguanta cuando el agente vigilado aprenda a esquivarla, y cuánto de este mercado acaba siendo observabilidad de red de toda la vida con un envoltorio nuevo.
