Nvidia impulsa SAFE, un registro compartido de fallos de agentes de IA

Cuando un agente de IA falla en producción, lo primero que se revisa suele ser el modelo. Nvidia sostiene que ahí no está necesariamente el problema. La compañía participa en SAFE, Secure Agent Findings Exchange, una iniciativa con el respaldo de unas 140 empresas que quiere montar una infraestructura común para reportar fallos de agentes, copiando el modelo de divulgación de vulnerabilidades del software clásico.

Adel el Hallak, vicepresidente de producto de Nvidia, lo resume así: cuando se encuentra una de estas vulnerabilidades, no es para una sola empresa, es para que todo el mundo parchee. La idea de fondo es que el fallo que descubre un equipo sirva al resto sin que cada uno tenga que reproducirlo desde cero.

El problema no es solo el modelo

El Hallak señala que la observabilidad al uso se queda corta. En software convencional hay un punto de partida: una excepción, una petición que falla, un servicio que se cae. Un agente puede seguir funcionando mientras se va por el camino equivocado y arrastrar un error temprano durante el resto de la tarea sin producir nada que parezca un fallo convencional. Incluso los mejores agentes de código fallan más de un 60% de las veces en tareas sacadas de repositorios reales.

Saber que falló no es saber por qué. El directivo insiste en que no basta con mirar los logs o las entradas y salidas: hay que reconstruir el razonamiento, qué herramientas se usaron, dónde se atascó el agente y en qué punto decidió probar otra cosa. Eso puede obligar a reproducir la ejecución completa.

Nvidia divide la pila de un agente en tres capas: el modelo aporta la inteligencia, el harness orquesta el trabajo y el runtime gobierna la ejecución. Su runtime OpenShell, que va por debajo de la plataforma NemoClaw, se encarga del sandbox y de aplicar políticas mientras expone lo que hace el agente. El Hallak lo presenta como la pieza no negociable de sus arquitecturas de referencia: el harness y los modelos se pueden cambiar, dice, pero el runtime seguro y abierto se mantiene. La investigación NOAH de la compañía apunta en esa dirección: cambiar el harness dejando el mismo modelo puede mejorar el rendimiento, lo que también significa que un harness mal emparejado arrastra a un modelo capaz.

Instrumentar tiene precio

Nada de esto sale gratis. OpenAI ha medido que la monitorización añade en torno a un 20% de cómputo de inferencia en sus agentes persistentes más capaces. En paralelo, CrowdStrike entrena modelos Nemotron de Nvidia con años de datos de seguridad para crear agentes emparejados: uno busca exploits y otro los parchea. Si uno se equivoca, la salida final puede no revelar por qué, y un parche malo puede venir del modelo, de la ruta de ejecución o de las herramientas que tocó por el camino.

El Hallak insiste en la especialización por encima del propósito general. El problema es que cuando los agentes se construyen sobre flujos de trabajo cada vez más específicos, sus fallos no aparecen en los benchmarks ni en las pruebas de seguridad de los modelos generalistas. Ahí es donde SAFE intenta ser útil: que lo que aprende una empresa al depurar su agente no se quede dentro de sus paredes.