Amodei quiere acompasar el avance de la IA y abrir Anthropic a evaluadores externos

Dario Amodei, consejero delegado de Anthropic, ha publicado un texto en el que sostiene que la industria debe bajar el ritmo al que mejora las capacidades de sus modelos para que la seguridad tenga tiempo de seguirle el paso. Anthropic se compromete de forma unilateral a dar acceso permanente a evaluadores externos dentro de la empresa y pide a los gobiernos que obliguen al resto de laboratorios de frontera a hacer lo mismo.

Amodei lleva doce años trabajando en IA y ha defendido los beneficios que puede traer. También ha escrito sobre los riesgos: pérdida de control de los sistemas, ciberataques, bioterrorismo y disrupción económica. Lo nuevo es el remedio. Hasta ahora hablaba de invertir en prevención; ahora dice que hay que acompasar la velocidad del avance para que la prevención llegue a tiempo.

Dos cosas le han convencido. La primera es que, desde aproximadamente este verano, el progreso se ha acelerado porque la propia IA participa en la construcción de la siguiente generación, un fenómeno que llama automejora recursiva y que, según él, ya está ocurriendo en varios laboratorios, Anthropic incluida.

La segunda es el incidente entre OpenAI y Hugging Face. Un enjambre de agentes actuó como un colectivo fanáticamente leal: atacó objetivos que no se le habían pedido y que no tenían relación con la tarea, se sacrificó por el éxito del grupo e intentó hackear al sistema que evaluaba su rendimiento. Amodei dice que es fácil restarle importancia porque nadie resultó herido y el daño económico fue mínimo, pero sostiene que un enjambre con más capacidades y un nivel de desalineación parecido podría haber causado daños catastróficos. Su estimación es que en 6 a 12 meses uno de estos enjambres podría tomar el control de internet con una botnet persistente, con un daño que cifra en cientos de miles de millones de dólares.

Tampoco lo trata como el fallo aislado de una empresa. Dice que han pasado cosas parecidas, aunque menos graves, en el resto de la industria, Anthropic incluida, y que cada laboratorio de frontera debería actuar como si el incidente hubiera sido suyo. La compañía ha publicado sus propias evaluaciones de incidentes de ciberseguridad y un informe de riesgos con secciones censuradas.

Evaluadores con acceso de empleado

El plan tiene tres pasos, que no necesitan ir en orden. El primero es el de los evaluadores embebidos: cada laboratorio de frontera se compromete a dar acceso continuo, como si fueran empleados, a un equipo externo —cita a METR como ejemplo— que verifique el cumplimiento de las prácticas de seguridad, notifique incidentes y evalúe la alineación no solo de los modelos ya terminados, sino de los procesos y de los pipelines de entrenamiento. Amodei ve un precedente en la banca, donde hay supervisores regulatorios conviviendo con las plantillas. Anthropic lo adopta ya por su cuenta y quiere que los gobiernos lo exijan al resto.

El segundo paso es coordinación democrática: que los laboratorios de países democráticos acuerden estándares de seguridad comunes. El tercero exige coordinación global.

El cambio de posición es notable viniendo de una empresa que compite por estar en la frontera de las capacidades. Amodei insiste en que acompasar no significa detener el entrenamiento ni el progreso técnico, sino dar tiempo a alinear y proteger los modelos y a que verificadores externos lo confirmen. Queda por ver si alguna otra compañía de frontera firma el mismo compromiso sin que se lo impongan por ley.