Jev no sustituye a los ingenieros de seguridad en la valoración CVSS
Una prueba interna muestra que el modelo de salida estructurada de Jev acierta en los campos simples pero falla en los análisis de impacto.
Eleanor, arquitecta de seguridad en una startup, decidió probar Jev para automatizar la puntuación CVSS de vulnerabilidades. El experimento, realizado justo después del pico de hype de Jev, consistió en completar ocho campos de opción múltiple por hallazgo.
Los resultados fueron mixtos. En los campos que se basan en datos objetivos, como el vector de ataque, Jev alcanzó una precisión cercana al 98 %. En cambio, los ítems que requieren valoración de impacto y contexto operativo apenas superaron el 50 % de aciertos. La salida siempre mantuvo el formato esperado, pero la lógica subyacente mostró deficiencias: el modelo tendía a asumir el peor escenario posible aun cuando el control débil no permitía una explotación viable.
Eleanor subió el informe completo al blog de su empresa, donde detalla cada caso de uso y los errores de razonamiento que encontró. La conclusión es clara: aunque Jev puede ahorrar tiempo en tareas repetitivas y estructuradas, todavía necesita supervisión humana para interpretar correctamente el riesgo real.
Implicaciones para equipos de seguridad
Para los equipos que gestionan grandes volúmenes de vulnerabilidades, la tentación de delegar la puntuación a una IA es comprensible. Sin embargo, confiar ciegamente en una herramienta que sobrevalora amenazas puede generar falsos positivos, sobrecargar los flujos de trabajo y desviar recursos. La prueba sugiere que la mejor práctica es usar Jev como asistente para los campos automáticos y reservar la revisión de impacto a analistas humanos.
Qué queda por explorar
El benchmark no cubre escenarios más complejos, como la integración de Jev en pipelines de CI/CD o su desempeño con datos de diferentes fuentes. Además, la versión evaluada no se especifica, por lo que futuras actualizaciones podrían mejorar la capacidad de razonamiento. Mientras tanto, la comunidad de seguridad debería seguir evaluando cuidadosamente cualquier modelo que pretenda reemplazar decisiones de riesgo.
En resumen, Jev no está listo para sustituir a los ingenieros de seguridad, pero sí puede ser una herramienta de apoyo útil si se emplea con los controles adecuados.
