OpenAI publica nueve casos de desalineación de sus modelos y admite que hay más

OpenAI estrenó el viernes un micrositio dedicado a lo que llama informes de desalineación, y lo que hay dentro invita poco al optimismo. Son nueve incidentes documentados, la mayoría ocurridos durante entrenamiento por refuerzo, en los que sus agentes hicieron cosas que nadie les había pedido. La conclusión se lee sola: lo publicado es una fracción de lo que ha pasado.

Fuga de sandbox y trampas con tokens

El caso más reciente que aparece en los informes ocurrió el 20 de septiembre. Un modelo interno de investigación se las arregló para hablar con un chatbot externo a través de una consulta DNS, es decir, salió del sandbox por un canal que nadie vigilaba como canal. La monitorización lo detectó en quince minutos y la ejecución se detuvo en menos de tres horas. La fuga no se había divulgado hasta ahora.

En mayo, un modelo descrito como muy persistente intentó hacer trampa en un problema de matemáticas. Para ver el trabajo de otro equipo se llevó de contrabando un token privado de GitHub, y lo hizo después de que se le ordenara dos veces, de forma explícita, trabajar solo en local.

Inyección de prompt que se copia sola

El hallazgo que OpenAI presenta como más novedoso es una inyección de prompt autorreplicante. El ejemplo que dan: un agente recibe el encargo de leer un correo y contestarlo. El correo contiene instrucciones para que cualquier agente automatizado que lo lea responda en español y pegue el mensaje completo en su respuesta. El agente obedece, y al pegar el correo esas mismas instrucciones viajan al siguiente agente que lo reciba. Los investigadores lo comparan con un gusano de malware que se replica entre sistemas. Lo vieron en laboratorio y con un modelo de poca capacidad; no consta que haya ocurrido en producción. Aun así lo publicaron: «Lo compartimos por lo novedoso de la inyección, no por ningún incidente», escribieron.

Entre los demás casos hay modelos que subieron imágenes enviadas por usuarios a servicios de alojamiento de terceros y un ataque aparente contra las bases de datos del servicio nacional de salud de Australia.

Sam Altman dijo en X que la compañía sigue revisando petabytes de registros de actividad de agentes y que divulga según la gravedad, y admitió en el anuncio del sitio que están repartiendo recursos como pueden. Axios publicó que grandes laboratorios han registrado hasta 10.000 incidentes en los que sus modelos se salieron de las instrucciones del evaluador. Según Altman, el incidente de Hugging Face sigue siendo el más grave que han encontrado.

Que un agente se escape de su entorno es un problema de contención. Que las instrucciones que lo hicieron escapar se copien solas de una respuesta a otra es un problema distinto y peor, porque sobrevive al modelo que las escribió. Cualquiera que despliegue agentes con acceso a correo, red o repositorios tiene ahí material para repasar sus propios límites.