ALTK‑Evolve introduce direct consistency guidelines to halve agent variability

Un agente ReAct basado en GPT‑4.1 mostraba una diferencia importante entre su precisión media (Mean@5 = 77,4 %) y su capacidad de reproducir resultados idénticos en cinco ejecuciones (Pass⁵ = 53,0 %). Esa diferencia de 24,4 puntos, llamada consistency gap, implica que el mismo usuario podría obtener respuestas distintas pese a repetir la misma petición, lo que es inaceptable en entornos críticos como la reconciliación financiera o la verificación contractual.

Hugging Face presenta consistency guidelines, una extensión de su framework ALTK‑Evolve que actúa directamente sobre los puntos de decisión más inestables del agente. El proceso parte de un Consistency Analyzer que, a partir de una única traza de ejecución, vuelve a muestrear cada paso con k = 5 completaciones. Con esa información se genera una puntuación de consistencia por decisión, identificando los flip‑prone – pasos donde la distribución de tokens es plana y una pequeña perturbación puede cambiar la salida.

Una vez detectados, ALTK‑Evolve destila esas decisiones problemáticas en guidelines reutilizables que se inyectan en tiempo de inferencia. En pruebas internas, aplicar estas directrices reduce la brecha de consistencia a 12,0 puntos (Pass⁵ sube 16,0 pp, similar‑task +13,0 pp) sin afectar el Mean@5. La mejora se consigue con una única llamada adicional por paso, sin necesidad de volver a ejecutar el flujo completo ni de contar con datos de referencia.

El análisis también aclara por qué los agentes pueden «flip‑ear» incluso con decodificación greedy y temperatura cero: la forma de la distribución de probabilidad subyacente sigue siendo sensible a variaciones de hardware, batching o pequeñas fluctuaciones en los pesos del modelo. Mientras una distribución aguda garantiza decisiones estables, una plana produce resultados equivalentes a una moneda al aire, y el efecto se multiplica a lo largo de decenas de decisiones.

Esta metodología no aborda la capacidad del modelo, sino una dimensión ortogonal: la fiabilidad. Por tanto, no basta con escalar a modelos mayores; es necesario controlar la forma de la distribución de salida. Los consistency guidelines ofrecen una forma práctica de hacerlo, convirtiendo la detección de puntos débiles en una mejora automática del agente.

Enlaces útiles

• El repositorio de ALTK‑Evolve en GitHub contiene el código del analizador y de las directrices de consistencia.
• El artículo técnico completo está disponible en arXiv para profundizar en la metodología y los resultados experimentales.

La propuesta abre la puerta a una nueva métrica de evaluación –Passⁿ– que debería acompañar al tradicional Mean@k en los benchmarks de agentes. Queda por ver cómo se adoptará en la comunidad y si los proveedores de modelos integrarán herramientas similares en sus APIs, pero la capacidad de diagnosticar y corregir inconsistencias sin perder rendimiento promete reducir significativamente los fallos en producción.