El mejor agente de programación falla más del 60% de las veces en código privado

Claude Fable 5.1 ha ganado Real-SWE, un benchmark de agentes de programación que puntúa sobre código privado de empresas reales, con un 38,8% de éxito. Traducido: falló más de seis de cada diez tareas. Por detrás quedaron GPT-6 Astra, con un 33,8%, y Gemini 3.8 Flash, con un 31,2%.

El benchmark lo firma Specific Labs, respaldada por Y Combinator, y cambia el planteamiento habitual. En vez de sacar los problemas de repositorios públicos, mete a los agentes en bases de código privadas licenciadas de compañías reales, entre ellas un producto de consumo con más de 200.000 usuarios y una plataforma fintech que ha procesado más de 100.000 extractos bancarios. El código y sus soluciones no son públicos, así que es mucho menos probable que hayan acabado en los datos de entrenamiento de un modelo. La empresa estima que el 99% de los tokens que manejan las empresas reales están ocultos para los modelos frontera.

Son diez tareas y cada modelo tiene ocho intentos por tarea. Además, cada uno se prueba con su propia herramienta: Fable 5.1 sobre Claude Code, Astra sobre Codex CLI y Gemini 3.8 Flash sobre Gemini CLI, de modo que la nota refleja el conjunto y no solo el modelo. Cambiar el andamiaje cambia el resultado; el propio Fable 5.1 dentro de Cursor daría otra cifra.

Las puntuaciones del resto: GLM 5.3 se quedó en 28,8%, Grok 4.6 y Muse Spark 1.3 empataron en 23,8%, Kimi K3 llegó al 18,8% y GPT-5.6 Sol cerró la tabla con un 16,2%.

Seis tareas por debajo del 15%

Los porcentajes globales esconden el detalle por tarea, y ahí el panorama empeora. Seis de las diez tareas se quedan por debajo del 15% de éxito. Una migración de calendario de facturación se resolvió el 14,1% de las veces, la medición de tokens de API el 12,5%, el seguimiento de almacenamiento en S3 el 10,9% y un escaneo linealizable el 4,7%. Un fallo de jurisdicción fiscal se parcheó solo en el 3,1% de los intentos. Nadie resolvió el reductor de flujo analítico en 64 intentos.

El trabajo tampoco es localizado. Las soluciones de Real-SWE tocan una mediana de 11 archivos, casi el doble de la mediana de seis que manejan benchmarks como FrontierCode y DeepSWE. Ahí está buena parte de la dificultad: no es escribir una función, es navegar una base de código ajena y grande.

Dónde se rompen

Fable 5.1 falló sobre todo por requisitos omitidos (36,7% de sus fallos) y por errores de integración (34,7%). En Astra el reparto fue parejo entre errores de integración y suposiciones sin verificar, un 34% cada uno. Los errores de integración aparecen en casi la mitad de las ejecuciones fallidas de Gemini 3.8 Flash, mientras que GPT-5.6 Sol hizo suposiciones sin comprobar en el 43,3% de sus fallos.

Tampoco hay un agente que sea fiable en todo: Astra y Gemini acertaron las ocho veces en un barrido multirregión y Fable resolvió siete, pero los tres fallaron todos los intentos del escaneo linealizable.

Diez tareas son una muestra pequeña y Real-SWE no demuestra que los benchmarks públicos estén inflados por contaminación de datos. Lo que sí enseña es que el mejor agente disponible suspende más de la mitad de las veces en código que probablemente no había visto nunca. Resolver un problema de programación no es lo mismo que orientarse en una base de código de producción desconocida, y las cifras que se publican estos meses conviene leerlas con esa distancia.