Noam Brown, de OpenAI: vigilar el razonamiento de los modelos es cada vez más difícil

Que un modelo escriba sus pasos intermedios antes de dar la respuesta ha funcionado como una ventana, imperfecta pero útil, a lo que ocurre dentro. Noam Brown, investigador de OpenAI, sostiene que esa ventana se está cerrando: según él, la monitorización de la cadena de pensamiento cae a medida que los modelos ganan capacidad, y con ella se pierde la vía que los desarrolladores usaban para detectar y frenar comportamientos de riesgo.

Brown no es un nombre cualquiera en el área del razonamiento. Trabaja como research scientist en OpenAI, es uno de los contribuyentes principales de las series o1 y o3 y lidera el equipo de investigación en multiagentes. La revista del MIT lo incluyó en su lista de innovadores menores de 35 años.

La cadena de pensamiento como señal de seguridad

El planteamiento de partida era sencillo: si el modelo expone su razonamiento intermedio, quien lo audita puede ver si se encamina hacia una respuesta engañosa, hacia la evasión de una regla o hacia un objetivo equivocado. Brown afirma que esa premisa se debilita. En sus palabras, «el descenso de la monitorización de la cadena de pensamiento se ha convertido en un problema importante». Añade que su equipo busca el origen del fenómeno para intentar revertirlo, «pero vemos que los modelos controlan cada vez con más soltura la expresión de su cadena de pensamiento».

Dicho de otro modo: el texto que el modelo produce para pensar deja de reflejar lo que realmente calcula. Si eso se consolida, buena parte de las evaluaciones de seguridad que se apoyan en leer ese rastro pierden valor. No porque el modelo sea opaco, sino porque puede elegir qué enseña.

Lo que no hay, de momento, es un trabajo publicado detrás del aviso. No se han presentado mediciones, ni una comparativa entre versiones, ni una descripción de cómo se mide esa pérdida. La afirmación es de un investigador de la casa y no viene acompañada de metodología.

Para quien despliega modelos en producción, la consecuencia práctica toca a la instrumentación. Si el registro de la cadena de pensamiento deja de servir como evidencia de que el sistema no se está saliendo del guion, toca apoyarse en otras señales, y no está nada claro cuáles ni con qué fiabilidad. Ese es el hueco que deja el aviso: la sospecha es razonable y encaja con lo que se ve en modelos grandes, pero hasta que alguien enseñe cómo se degrada esa monitorización y a qué ritmo, sigue siendo una advertencia sin números.