La industria de la IA respalda crear evaluadores externos con acceso a los laboratorios
Dario Amodei propone que cada laboratorio de frontera acoja a un equipo de evaluadores independientes con acceso tipo empleado; Altman, Musk, Hassabis y Zuckerberg respaldan la idea.
El consejero delegado de Anthropic, Dario Amodei, publicó un ensayo en el que propone que cada laboratorio de IA de frontera dé acceso continuo y «como a un empleado» a un equipo de evaluadores externos, con METR como referencia. Ese equipo verificaría el cumplimiento de los compromisos de seguridad, reportaría incidentes y evaluaría no solo los modelos ya terminados, sino también las canalizaciones y los procesos de entrenamiento.
El respaldo llegó rápido. Sam Altman, consejero delegado de OpenAI, dijo estar de acuerdo con Amodei; Elon Musk, que Amodei tiene razón; y Demis Hassabis, fundador de Google DeepMind, que el ensayo apunta al camino correcto. Mark Zuckerberg escribió que Meta Superintelligence Labs ya trabaja con evaluadores independientes y que un ecosistema más amplio y diverso sería útil. No todos lo ven igual: Nikesh Arora, presidente y consejero delegado de Palo Alto Networks, calificó de chocante el deseo de frenar y apuntó que, si todo el sistema va más despacio, las reglas para ganar pueden ser las mismas para todos.
Qué hacen y cuánto pagan
METR tiene vacantes activas y bien pagadas: el techo ronda los 687.000 dólares. La descripción del puesto pide a alguien resuelto, creativo, independiente y autónomo, capaz de construir modelos de amenaza de pérdida de control y de desglosar casos de seguridad, y avisa de que buena parte del trabajo habrá que resolverlo sobre la marcha y en solitario. Mercor, dedicada al entrenamiento de modelos, ofrece puestos similares entre 180.000 y 300.000 dólares, con doctorado o máster y más de dos años de experiencia en informática, ingeniería eléctrica, econometría u otra disciplina STEM con base sólida en machine learning.
Kadan Stadelmann, consultor de seguridad de IA y CTO de Komodo, cuenta que el acceso tipo empleado varía mucho de un cliente a otro y que queda fijado en el contrato. En su semana tipo entra en laboratorios a probar vectores de riesgo, incluido el comportamiento de agentes en condiciones realistas, y vigila cadenas de pensamiento y prompts. Para él, las habilidades de ingeniería pesan más que los doctorados.
Dion Johnson, fundador y consejero delegado de Indie Me, pone el foco en qué ocurre cuando el evaluador encuentra algo raro: si solo puede señalar lo que resulta cómodo, no hay supervisión independiente, sino otra capa de proceso. Necesita ver lo incómodo —qué falló en las pruebas, qué comportamientos aparecieron sin aviso—. Stadelmann añade otra duda: los evaluadores no podrán seguir el ritmo de los grandes laboratorios y quedarán a merced de la ética interna de estos, sin contar con que muchos laboratorios pequeños acabarán absorbidos por los grandes.
