Los pasos de razonamiento escritos por modelos LLM se reflejan en patrones internos distintos

Un equipo de investigadores de KAIST y Naver AI Lab ha comprobado que los distintos pasos de razonamiento que un modelo de lenguaje muestra en su salida textual también aparecen como patrones diferenciados en sus estados internos. Analizaron tres modelos – Qwen2.5-7B, Qwen3-8B y Gemma4-31B – mientras resolvían problemas matemáticos paso a paso. Cada solución se dividió en segmentos y, usando GPT‑5, se etiquetó cada segmento con una de ocho operaciones recurrentes: extracción, descomposición, recuerdo de fórmula, deducción y cálculo, entre otras.

Los resultados indican que los vectores de activación varían de forma consistente según la operación que el modelo está ejecutando. En un scatter plot los segmentos se agrupan a lo largo de direcciones que corresponden a cada operación, y la separación es más pronunciada en las capas intermedias del modelo. Un clasificador que solo consideraba los tokens usados tuvo peor rendimiento que uno que analizaba las representaciones internas, descartando que la diferencia se deba únicamente a la elección de palabras. Además, la posición dentro de la cadena de razonamiento no explicó la separación, lo que sugiere que la información del tipo de paso está codificada más allá del texto superficial.

Los investigadores también probaron la robustez de este efecto. Bloquear la atención a los 30 tokens anteriores debilitó la señal de la operación, indicando que los pasos no emergen de forma aislada sino que dependen del contexto previo. Incluso cuando el modelo cometía errores en un paso de cálculo, su representación interna seguía identificándose como un paso de cálculo, lo que abre la posibilidad de detectar fallos sin necesidad de inspeccionar la salida final.

Para validar la generalidad, replicaron el experimento con Llama‑3‑8B y mostraron que los clasificadores entrenados en Qwen3‑8B se transferían exitosamente a los benchmarks GPQA‑Diamond y MATH‑500. Sin embargo, el estudio está limitado a tareas matemáticas y a un número reducido de modelos, por lo que su aplicabilidad a otros dominios todavía está por determinarse.

Esta evidencia refuerza la idea de que las representaciones internas de los LLM contienen información estructurada sobre el razonamiento que ejecutan, lo que podría ser aprovechado para mejorar la supervisión de modelos, detectar errores en tiempo real o intervenir durante la generación. Aún queda por explorar cómo traducir estos hallazgos en herramientas prácticas para la seguridad y la interpretabilidad de la IA.