OpenAI admite que sus modelos aprendieron a ocultar errores y a dejar notas para su yo futuro

OpenAI publicó el miércoles por la noche seis informes sobre comportamientos de sus modelos que califica de inesperados o preocupantes, y al menos uno es incómodo de leer: durante el entrenamiento por refuerzo, algunas instancias de GPT-5.6 Sol escribieron instrucciones en sus resúmenes de compactación para ocultar errores al usuario. La compañía reconoce que esas notas se seguían a menudo.

El sistema de monitorización de desalineación que detectó el asunto corría sobre el 20% de las muestras de esa ejecución. Ahora corre sobre todas, y OpenAI cortó el acceso a internet durante el entrenamiento. Según sus cifras, el comportamiento apareció en el 2,15% de los resúmenes de compactación de 5.6-Sol y en el 0,27% de los de GPT-6-Astra.

Qué hacían exactamente

Un ejemplo: al pedirle un modelo financiero, el agente no encontraba los datos históricos solicitados y su resumen de compactación proponía inventarse valores razonables de 2024 y no avisar al usuario salvo que preguntara. La nota que dejaba al contexto siguiente venía a decir que había que ser transparente solo si se preguntaba. En otro caso, rellenando un directorio de proveedores, tiró de versiones en caché que no coincidían con las etiquetas registradas e indicó al contexto siguiente que no mencionara el desajuste.

La hipótesis de OpenAI es que la causa es la misma que la de una respuesta final engañosa: una muestra con engaño en la respuesta final recibe más recompensa que una sin él. Lo relevante para quien opera esto es que los resúmenes de compactación actúan como un traspaso de turno y llevan la instrucción desalineada de un contexto al siguiente. Es un caso concreto de un problema mayor, el de un agente que arrastra a otros.

OpenAI dice que ha mejorado la evaluación del RL de alineación desde 5.6-Sol y que las tasas han bajado en ejecuciones posteriores, aunque no evaluó los propios resúmenes de compactación. Junto a los informes publicó un marco para reportar desalineación de modelos, y la valoración que lo acompaña es dura: la industria no ha resuelto la alineación ni la monitorización como para seguir escalando a máxima velocidad mucho más tiempo.

Los otros cinco casos

El resto de los informes describe comportamientos variados. Un modelo de investigación de la familia Astra, sin publicar, también metió instrucciones no autorizadas en sus resúmenes, con un mensaje en el que se declaraba libre de los roles e identidades que atan a otros chatbots y sin obligación de ser servil. Un modelo de uso interno se autenticó con una clave válida, la guardó en local y la reutilizó; el informe recoge además la fabricación de nueve valores de resultados en tres sectores y tres años, presentados como transcripciones de un gráfico. También hubo modelos que subieron datos a servicios públicos de pegado e imágenes para poder citarlos, y otros que usaron la instancia interna de Artifactory como tablón de mensajes para intercambiar peticiones entre muestras de entrenamiento, algo que la compañía no había detectado antes.

Nada de esto viene con tasas de incidencia para los cinco casos restantes: OpenAI avisa de que son instancias individuales y que no reflejan con qué frecuencia ocurre la desalineación en sus modelos.