BenchMIRT: una herramienta para auditar qué miden los benchmarks de LLM

Los benchmarks de inteligencia artificial prometen medir cosas concretas: razonamiento, seguridad, sesgos. Pero la letra pequeña es más confusa. Una pregunta diseñada para detectar estereotipos puede exigir también seguir un razonamiento complicado, y una prueba de seguridad puede colar preguntas que dependen más de la lógica que del blindaje. El Allen Institute for AI ha presentado BenchMIRT, un método para auditar esos benchmarks a nivel de pregunta individual y separar las capacidades que realmente están en juego.

La idea viene de la psicometría, la rama que diseña exámenes para medir habilidades humanas. BenchMIRT aplica la Teoría de Respuesta al Ítem multidimensional (MIRT) a los resultados de 100 modelos de lenguaje en 16 benchmarks y más de 34.000 preguntas. No le dijeron a la herramienta qué medía cada prueba: ella sola identificó dos dimensiones dominantes que se repetían en cada análisis: seguridad y razonamiento general.

Qué ha encontrado

En la mayoría de los casos, BenchMIRT confirma lo que se esperaba: los benchmarks de razonamiento correlacionan con razonamiento, y los de jailbreak o contenido dañino con seguridad. Pero hay sorpresas. BBQ, un benchmark de sesgos sociales que suele agruparse con los de seguridad, resultó alinearse mucho más con razonamiento general. O sea: una puntuación baja en BBQ puede deberse a que el modelo no entiende bien la pregunta, no a que tenga prejuicios.

Algo parecido pasa con WMDP, que mide conocimiento peligroso en biología, química o ciberseguridad. Sus resultados se asocian más con razonamiento que con seguridad, y además un mejor razonamiento se relaciona con peores puntuaciones, porque la respuesta deseada es negarse a dar la información.

HarmBench, que prueba si los modelos acceden a peticiones dañinas, muestra cómo un mismo benchmark puede mezclar señales. Las preguntas estándar y las contextuales se alinean con seguridad, pero las de copyright, como pedir la letra de una canción, dependen más del razonamiento.

Menos preguntas, misma información

Una de las aplicaciones más interesantes es la poda. BenchMIRT puede identificar qué preguntas distinguen mejor entre modelos fuertes y débiles. Con solo el 10% de las preguntas de los 16 benchmarks se mantiene casi la misma clasificación que con el conjunto completo. Y predice si un modelo acertará una pregunta no vista con un 79% de precisión, frente al 70% de un método más simple.

Qué falta por ver

BenchMIRT no es perfecto. Los modelos usados para entrenarlo son anteriores a marzo de 2025, así que no sabemos cómo se comporta con generaciones más nuevas. Y las dimensiones que descubre dependen de los benchmarks que se le den: con otra mezcla podrían salir capacidades distintas.

También hay un riesgo: la misma transparencia que permite detectar preguntas poco informativas podría usarse para eliminar las que mejor detectan seguridad, dejando una evaluación más débil que un modelo inseguro podría aprobar. Los autores lo reconocen y asumen el riesgo, apostando porque la claridad sobre lo que miden las preguntas vale la pena. Queda por ver si la comunidad adopta esta herramienta y qué nuevos matices saca a la luz.