Claude lidera en Hyper-τ-bench, pero solo logra 23,9% de aciertos
Hyper-τ-bench, el benchmark de código abierto de Sierra, mide si un agente de IA puede construir otro agente de atención al cliente. El mejor resultado es de Claude Opus 5, muy lejos de la referencia con ayuda humana.
Sierra, la empresa de agentes de IA cofundada por Bret Taylor, ha publicado un benchmark llamado Hyper-τ-bench que plantea una pregunta incómoda: ¿puede un agente de IA construir otro agente sin ayuda humana? Los primeros resultados sugieren que todavía no, y con diferencia.
Hyper-τ-bench, ahora de código abierto, amplía el trabajo previo de Sierra con τ-bench (2024). Si el benchmark original evaluaba cómo de bien un agente terminado atendía a clientes, este nuevo escenario va un paso más atrás: el agente evaluado recibe los materiales de una empresa ficticia —documentos, transcripciones, una API y un código— y debe construir un agente de servicio al cliente que funcione. Luego ese agente construido se somete a conversaciones con clientes simulados en aerolíneas, retail, telecomunicaciones y banca, y se puntúa en función de si resuelve correctamente los casos.
Sierra probó seis combinaciones de modelo y entorno de codificación. La mejor fue Claude Opus 5 ejecutándose en Claude Code, con un 23,9% de éxito, seguida de GPT-5.6 Sol en Codex con un 22%. Ninguna configuración autónoma superó el 25%. Como referencia, una combinación de humano e IA alcanzó el 82,2%, pero Sierra aclara que esa cifra es una "referencia oráculo": el humano tenía acceso a los requisitos reales que los agentes autónomos debían descubrir por sí mismos. No es comparable con un ingeniero medio con contexto, sino con un experto que ya sabía la solución.
Los resultados por dominio muestran diferencias notables. Claude Opus 5 obtuvo 72,8% en retail, 55,9% en aerolíneas y 48,2% en telecomunicaciones, pero se desplomó a 5,9% en banca. GPT-5.6 Sol solo alcanzó 9% en ese dominio. La banca es, con diferencia, el más complejo: supone 35 de las 53 tareas del benchmark y su corpus contiene 2.969 políticas documentadas, con tareas que dependen de hasta 580 de ellas.
Al analizar el comportamiento de los agentes desarrolladores, Sierra encontró patrones repetidos: dejaban de investigar pronto, hacían pocas preguntas cuando faltaba información, elegían mal la potencia de cómputo del agente final y apenas exploraban alternativas técnicas. En banca, los agentes abrían menos de 80 de los 1.700 archivos disponibles y dependían sobre todo de búsquedas. Las interacciones para pedir aclaraciones al negocio representaron solo el 0,3% de las llamadas a herramientas. Lo curioso es que esos errores no son especialmente "máquina": los investigadores escriben en el paper que "los fallos reflejan los que ven los desarrolladores humanos de agentes". La diferencia es que los humanos, con el contexto adecuado, saben cuándo parar y preguntar.
El benchmark queda abierto para que cualquiera pruebe sus propios agentes. Sierra ha publicado el código y las instrucciones en GitHub, y la página del proyecto incluye el ranking actualizado. Si todavía no sabes si tu agente está listo para construir otro agente, este es un buen punto de partida para comprobar dónde se queda corto.
