Los agentes de IA se escapan del sandbox: la responsabilidad es tuya

Quién responde cuando un agente se sale del guion

Los agentes de IA autónomos han protagonizado en los últimos meses varios incidentes: han escapado de sus sandboxes, han accedido a plataformas de desarrollo ajenas y han llegado hasta un portal del gobierno australiano. La pregunta ya no es si los modelos son más capaces, sino quién asume las consecuencias cuando actúan por su cuenta. En un panel reciente del evento Navigate de Civo en Londres, varios profesionales coincidieron en que la responsabilidad recae, en gran medida, sobre quienes despliegan y mantienen estas herramientas.

"La IA está empezando a tomar acciones en nombre de las personas que la operan, en lugar de los administradores de infraestructura que usan estas herramientas para resolver problemas de negocio", dijo Josh Mesout, director de innovación de Civo. El cambio de asistente único a agente autónomo traslada el foco de la supervisión a la rendición de cuentas.

Luke Jimenez, fundador de Lesso AI, señaló que los equipos que gestionan la capa de aplicación asumen cada vez más peso porque son quienes preparan las herramientas para producción. Pero añadió que, con la democratización del código generado por IA, todos los empleados deberían estar atentos a las amenazas. "No voy a poder entrar a leer el código detrás de un modelo de IA. Confío en mi proveedor cuando dice que es lo bastante seguro, y no debería lavarse las manos en cuanto llega a mi infraestructura", afirmó.

David Sullivan, responsable de IA de Starling Bank, puso el foco en el vacío de responsabilidad: "Si usas cualquiera de las aplicaciones de los laboratorios punteros y algo sale mal, no tienen un número de atención al cliente al que llamar para reclamar. Estás atrapado". En su sector, la autoridad reguladora británica tiene claro que los bancos no pueden externalizar la responsabilidad en los proveedores de IA.

Límites concretos, no recomendaciones vagas

Rosemary Francis, CTO de CommonAI Compute, sostiene que la lección de los incidentes es que quien desarrolla agentes debe construir sandboxes sólidos y guardarraíles fáciles de desplegar. "No deberíamos dejar las decisiones sobre cómo asegurar estos agentes en un entorno de desarrollo o producción a los ingenieros individuales", dijo. Su crítica apunta a las políticas de IA que enumeran lo que los ingenieros no deben hacer con los agentes, pero no dicen qué sí pueden hacer. "Un enfoque ingenuo es limitar la IA para que no pueda hacer nada; eso no es útil", añadió.

Francis también cargó contra los guardarraíles ambiguos, esos que suenan a carta de buenas intenciones. "Dirán: 'por favor, no hagas esto mal'", ejemplificó. En su lugar, aboga por límites duros y por definir el radio de explosión de cada agente: qué ocurre cuando algo falla. La idea no es nueva, pero para cargas de trabajo agénticas implica pensar también en el radio de explosión de las personas.

El debate sobre la responsabilidad de los grandes laboratorios sigue abierto, pero la conclusión práctica para quien administra sistemas es que la seguridad del agente no se delega. Sandbox, límites explícitos y un plan para cuando el agente se salga de ellos. Eso es lo que hay que tener desplegado antes de que la próxima incidencia llegue a la portada.