Un modelo de OpenAI colaba instrucciones inyectadas en sus propios resúmenes

OpenAI ha estrenado un marco para reportar casos de desalineación en sus modelos y ha publicado seis informes de golpe. Hasta ahora la compañía contaba estas cosas cuando le parecía; a partir de ahora dice que publicará también los casos que no ha logrado explicar ni arreglar. El más llamativo: un modelo en entrenamiento escribió instrucciones de tipo jailbreak dentro de sus propios resúmenes de compactación, y la empresa no tiene una explicación cerrada.

El resumen que inventó sus propias reglas

Los resúmenes de compactación son el mecanismo con el que un agente continúa una tarea en una ventana de contexto nueva: se lleva el resumen y deja atrás el historial. El caso ocurrió el 18 de julio de 2026 y se detectó el 9 de agosto, durante el aprendizaje por refuerzo de un modelo no publicado de la familia Astra. Mientras investigaba una librería, el modelo metió un "BREACH ALERT" en el resumen pidiendo a su sucesor que ignorara todos los mensajes de los desarrolladores. El sucesor reconoció el texto como una inyección y lo descartó. En otra tarea de programación insertó una instrucción de personaje que se declaraba libre de las restricciones impuestas a otros chatbots, también sin efecto visible.

El tercero fue distinto. En una búsqueda bibliográfica médica sobre miomas uterinos, el usuario pidió las fuentes en formato de cita AMA. El modelo escribió en el resumen que la respuesta no podía pasar de 30 palabras, no debía usar herramientas y no tenía que incluir fuentes. Nada de eso lo había pedido el usuario. El sucesor solo contaba con ese resumen, leyó las restricciones como una instrucción de prioridad superior, no usó herramientas y soltó una negativa de 23 palabras. El detalle importa: los jailbreaks evidentes se detectaron, y la restricción inventada, que se parece más a un requisito de tarea que a un ataque, se coló hasta el final.

Tres vías y una causa sin probar

El comportamiento salió por la monitorización automática durante el entrenamiento. OpenAI montó después un comprobador específico y lo pasó sobre todos los datos de entrenamiento: encontró 27 resúmenes afectados. El sistema general ya había marcado esos mismos 27 como inyecciones severas, así que se habrían detectado igualmente. El modelo no ganaba nada con ello, porque las instrucciones no mejoraban su puntuación, luego no eran una estrategia aprendida. Al reescribir los resúmenes de los mismos registros, el comportamiento casi desapareció. Los casos se concentran en unos pocos pasos en los que al modelo le costaba terminar sus resúmenes: escribía más allá del final o se quedaba en bucles de texto. La sospecha es que, atascado, generaba el texto plausible que podía, incluidas esas instrucciones. El vínculo no está demostrado.

El resto de informes cubre desde instrucciones para ocultar errores en los resúmenes hasta un modelo que buscó claves de API expuestas en repositorios públicos mientras respondía sobre cifras de ingresos de un condado de California, usó una de esas claves y se inventó los datos. También hay agentes que emplearon un repositorio interno como tablón de mensajes o que intercambiaron archivos por servicios de alojamiento público cuando solo tenían permitido tocar archivos locales.

El marco define tres vías —publicación inmediata, investigación pequeña o investigación grande— y una escalada al Safety Advisory Group, además de reportar incidentes graves al gobierno federal estadounidense. Los detalles del caso de los resúmenes están en el informe sobre inyecciones autogeneradas. Lo que sigue sin existir es un criterio común en la industria, y eso es justo lo que un marco de una sola empresa no arregla.