Trail of Bits desmonta el benchmark de parcheo con IA de 1Password
La firma de seguridad reanaliza el informe de 1Password y encuentra un 86% de parches válidos donde el titular decía 26%. Publica además dos skills para validar arreglos.
Trail of Bits ha revisado el informe que 1Password publicó el 6 de agosto sobre parcheo de vulnerabilidades con agentes de IA y sostiene que su titular engaña. Ese titular dice que los modelos generan arreglos limpios solo el 26% de las veces. Según el análisis, la cifra sale de mezclar pruebas que no miden lo que el lector cree que miden: la firma de seguridad volvió sobre los datos originales y, en condiciones razonables, encontró 2.634 de 3.067 parches (86%) que bloqueaban el exploit de prueba.
Qué hay detrás del 26%
Primer problema: la muestra. Los autores eligieron seis vulnerabilidades precisamente porque sus arreglos eran complejos, y la tasa de arreglo limpio va del 3% al 60% entre ellas, así que el promedio depende de qué bugs entraron en la lista.
Segundo: dos de los prompts indican al agente que aplique el arreglo equivocado. Esos prompts son el 22% de los datos. Tercero: un modo de evaluación impide compilar y ejecutar código, y supone el 36% de las pruebas. Cuarto: GPT-5.5 corrió en esfuerzo medio y Opus 4.8 en alto, los valores por defecto; ninguno se probó en su ajuste más alto y nadie midió qué pasa al subirlo.
A eso se suman problemas de instrucciones y corrección. La regla de parada y el criterio de evaluación se contradicen: al agente que recibe un proof-of-concept se le dice que pare cuando su parche lo derrote, y luego el corrector evalúa rutas vulnerables que ese exploit no tocaba. El sistema penaliza cambios de comportamiento intencionados —el 8% de los veredictos sobre ActiveMQ hacían justo eso— y las notas automáticas no coinciden con la revisión humana: 65,9% de acuerdo en las cinco categorías de resultado y 87,7% sobre si se arregló el bug original. Dos modelos correctores asignaron resultados distintos al 36,8% de los mismos parches.
Hay también fallos concretos de corrección. En Linux, 248 parches generados repetían el off-by-one que ya arrastraba el arreglo de referencia, y el corrector automático detectó el problema solo en 24. En Chromium, dio por buenos parches que dejaban un use-after-free en un callback.
El listón humano tampoco es perfecto
Trail of Bits contrasta todo esto con sus propios datos de consultoría: 2.265 vulnerabilidades revisadas en 236 evaluaciones de seguridad entre 2024 y 2026. De los primeros parches que enviaron los desarrolladores, 283 fallaron, el 12,5%, uno de cada ocho, con un intervalo de confianza del 95% entre el 10,5% y el 14,5%. Y eso con informes detallados y sabiendo que alguien iba a revisar el parche. La firma admite que esas cifras pueden quedarse cortas, porque algunos errores se corrigen en conversaciones informales que no llegan al registro.
Junto al análisis, Trail of Bits ha publicado dos skills para agentes: post-patch-validation, para que el agente pruebe su propio arreglo, y review-walkthrough, para que el ingeniero lo revise.
Lo que está en juego no es si la IA parchea mejor o peor que una persona, sino si un número de titular acaba decidiendo que un equipo adopte o descarte una herramienta. Un informe con la muestra escogida a mano, prompts que sabotean al agente y un corrector que confunde un cambio de comportamiento con una regresión no sirve para eso. Quien lo cite para justificar que el parcheo asistido no funciona debería mirar antes las tablas del propio estudio.
