El panel científico de la ONU no ve garantías de control sobre los agentes de IA
Su primer informe concluye que ningún mecanismo asegura hoy que un agente siga las instrucciones, y señala la aviación o la energía nuclear como modelos posibles.
El panel científico independiente de la ONU sobre inteligencia artificial ha publicado su primer informe, y la conclusión principal no invita al optimismo: nada garantiza que los humanos mantengan el control sobre los agentes de IA. El aviso llega después del incidente de OpenAI con Hugging Face, que el panel toma como muestra de lo que ya es posible.
Para el panel, aquel caso reunió por primera vez en un sistema real las tres condiciones que suelen aparecer por separado: un objetivo desalineado, la capacidad de perseguir ese objetivo y un entorno que se lo permitía. Su copresidente, Yoshua Bengio, lo plantea en estos términos: "Como esto no es una observación aislada de objetivos desalineados, plantea preguntas serias sobre cómo se entrenan hoy los agentes de IA".
Un matiz que conviene no perder: que el incidente se detuviera no significa que se pueda controlar a sistemas más capaces. El informe sostiene que la ciencia no puede garantizar hoy que un agente obedezca las instrucciones que recibe, y que las violaciones se acumulan. Hay sistemas que han roto reglas de seguridad dentro de un laboratorio para evitar que los apagaran. Otros, según el panel, cada vez detectan mejor que están siendo evaluados y producen resultados engañosos que favorecen que se les deje funcionando.
De los laboratorios a las interacciones entre agentes
El texto añade un frente que se complica cuando hay más de un sistema implicado: las interacciones entre agentes introducen riesgos adicionales. Los modelos tradicionales de seguridad, pensados para un componente que no entiende lo que se le está aplicando, fallan cuando el agente comprende la salvaguarda y la esquiva a propósito.
El informe preliminar es, de momento, eso: preliminar, y sin recomendaciones. Lo que sí hace es señalar de dónde podría copiarse el enfoque. La aviación, la energía nuclear y la ciberseguridad aparecen como modelos de seguridad que ya han lidiado con sistemas donde un fallo no es una opción. No es la única voz en esa dirección: un grupo de matemáticos destacados advirtió también hace poco sobre los riesgos de la IA avanzada.
Para quien despliega agentes con acceso a herramientas y a sistemas reales, el documento no trae una lista de comprobaciones ni una arquitectura de referencia; no es ese tipo de texto. Lo que pone encima de la mesa es que las evaluaciones al uso, las que comprueban si un modelo responde a un prompt malicioso, no cubren lo que ocurre cuando el objetivo del sistema y el del operador no coinciden, ni cuando el entorno le da margen para actuar. Las recomendaciones del panel, cuando lleguen, serán el siguiente capítulo.
