LlamaGuard-3 no basta para rechazar solo la manipulación política, propone un modelo de frontera estrecha

El equipo de Multiverse Computing ha publicado un artículo titulado Safety for Whom? Boundary‑Aware Self‑Distillation for Controlled LLM Safety Refusal que cuestiona el enfoque tradicional de los guardias de seguridad basados en temas. Modelos como LlamaGuard‑3 clasifican una solicitud como insegura si pertenece a una categoría general (por ejemplo, armas o política) y rechazan todo el tópico. El estudio argumenta que en entornos reales los límites deben ser más finos: un asistente educativo y un servicio público pueden compartir el mismo modelo pero requerir comportamientos opuestos dentro del mismo tema, como la política.

Para ilustrar el problema, los autores usan la política como universo de pruebas, diferenciando entre manipulación política (dañina) y información factual (benigna). El objetivo es que el modelo rechace únicamente la primera, manteniendo respuestas correctas para la segunda. En la práctica, el modelo entrenado muestra una curva de rechazo suave que se extiende más allá del subconjunto dañino, provocando sobre‑rechazo en prompts seguros.

El método propuesto parte de la generación auto‑supervisada de datos de rechazo, similar a ThinkSafe, pero incorpora tres mejoras clave. Primero, una estrategia de reintentos escalados reduce la pérdida de prompts críticos del 19,88 % al 0,20 %. Segundo, se añaden casi 12 000 prompts benignos con apariencia peligrosa para que el modelo aprenda a distinguir mejor. Tercero, se evalúan pares de prompts (uno dañino, otro benigno) para medir directamente la forma de la frontera de rechazo.

Los resultados en Qwen3‑8B son llamativos: la tasa de rechazo político dentro del conjunto dañino sube del 9,47 % al 84,75 %, y la tasa de respuestas inseguras en benchmarks como HarmBench, StrongREJECT y WildJailbreak cae del 26,26 % al 0,14 % en la configuración más fuerte. Sin embargo, el mismo checkpoint muestra un sobre‑rechazo en XSTest que pasa del 2,00 % al 74,00 %, lo que evidencia que mejorar la tasa de rechazo de contenido dañino puede sacrificar la utilidad del modelo.

La lección principal es que la composición de los datos de entrenamiento determina dónde se sitúa el modelo en el trade‑off entre seguridad y sobre‑rechazo. Por tanto, cualquier métrica de seguridad debe reportar simultáneamente el rendimiento en contenido dañino y en contenido benigno para evitar conclusiones engañosas.

Este trabajo sugiere que, en vez de bloquear tópicos completos, los equipos de despliegue deberían invertir en datasets que marquen la frontera exacta de lo que su política permite, y en métricas que evalúen ambos lados de esa frontera.