El modelo pequeño gpt-5.4-mini mantiene alta precisión en la selección de herramientas
Una evaluación de dos etapas muestra que la selección de herramientas alcanza entre el 90 % y el 97 % de acierto, incluso con descripciones escasas o paraphraseadas.
El post anterior prometía una segunda fase de evaluación que midiera la selección dentro de una lista corta, usando un modelo en vivo y evitando que un fallo de recall se disfrazara de error de selección. Esta nota entrega los resultados.
Se reutilizó la infraestructura de la fase uno: los mismos pools de herramientas, pares de tareas y recuperadores, y cada fila del resultado lleva un hash del conjunto de descripciones para mantener la trazabilidad entre cambios. El runner está en measure/eval_selection.py del repositorio y funciona con Python estándar contra cualquier despliegue de Azure OpenAI.
La fase uno mostró un recall del 5 % ante peticiones parafraseadas. En la fase dos se forzó que cada lista corta contuviera la herramienta correcta más sus cuatro distractores BM25 más fuertes, mezclados de forma determinista. Así, los distractores son siempre los hermanos léxicos de la herramienta esperada (por ejemplo, cancel_claim, update_claim y search_claim acompañan a approve_claim). El modelo, gpt-5.4-mini, se ejecutó con temperatura por defecto, 60 tareas por condición, mitad con formulación de vocabulario y mitad con paráfrasis, bajo cuatro variantes de descripciones.
Se midió dos cosas: si el modelo elegía la herramienta esperada y si el valor de referencia (INV-2005) aparecía en los argumentos de la elección. La comprobación de argumentos es indulgente para no penalizar formatos inocuos.
Los resultados de precisión de selección (lista de cinco) fueron:
| Condición | Selección |
|---|---|
| Tersas | 97 % |
| Realistas | 97 % |
| Verbosas | 90 % |
| Realistas + alias | 97 % |
En la métrica de rellenado de argumentos la precisión quedó entre 87 % y 97 %.
En resumen, la precisión de selección se sitúa entre el 90 % y el 97 % en cualquier condición. La verbosidad de la descripción no afecta a la selección, y la brecha de paráfrasis que arruinó el recall prácticamente desaparece en la fase de selección: el modelo traduce sin problemas frases como “sign off on the damage report” a approve_claim.
El cálculo final del éxito de la tarea es aproximadamente el producto de recall por selección. Para peticiones parafraseadas contra 100 herramientas realistas, el recall del 5 % y la selección del 93 % dan un éxito total cercano al 5 %. La conclusión es que el verdadero cuello de botella está en la fase de recall, no en la de selección.
Esto cambia la forma de asignar presupuesto: invertir en un modelo más grande para mejorar la selección es un despilfarro cuando la lista corta es tan limitada. En su lugar, hay que mejorar la cobertura de vocabulario en las descripciones, lo que cuesta apenas trece tokens por herramienta.
Los límites del experimento son claros: solo un modelo, una ejecución y 60 tareas por condición; las diferencias menores a la tabla están dentro del ruido. La lista corta forzada aísla la selección pero no favorece ninguna condición, ya que todas usan los mismos distractores. El repositorio incluye todo lo necesario para reproducir la prueba contra tu propio despliegue, y el coste total es de unos pocos centavos.
En la práctica, antes de escalar a modelos más costosos para llamadas a herramientas, mide primero tu recall. Si el modelo nunca ve la herramienta correcta, cualquier mejora de selección será ilusoria.
