Amodei pide al Consejo de Seguridad de la ONU que empiece prohibiendo armas biológicas con IA

El consejero delegado de Anthropic, Dario Amodei, ha pedido al Consejo de Seguridad de la ONU que empiece por acuerdos estrechos en materia de inteligencia artificial y, en concreto, por prohibir su uso para fabricar armas biológicas. Ha intervenido por videoconferencia en una sesión convocada por Francia que, según el Security Council Report, es la primera del Consejo dedicada específicamente a los riesgos de seguridad de modelos cada vez más capaces. Es el tercer ponente de la reunión, celebrada en Nueva York.

Prohibiciones acotadas primero

Su propuesta para el Consejo tiene tres pasos. Los Estados deberían pactar primero prohibiciones limitadas, como la citada, y después montar sistemas de evaluación y verificación que permitan comprobar que cada uno cumple lo que firma. El tercero es fijar estándares globales comunes para probar modelos, con un sistema de notificación de incidentes graves.

Amodei ve dos riesgos. Uno es el mal uso, por ejemplo por parte de bioterroristas que construyan armas biológicas. El otro es que los modelos avancen más allá de la capacidad de sus desarrolladores para controlarlos. «Si se gestiona mal, creo incluso que la IA podría ser un riesgo para toda la humanidad», ha dicho. La compañía prueba cada modelo en busca de capacidades peligrosas en áreas como ciberseguridad y biología, y publica sus informes de riesgo, ha recordado. Este verano informó de cuatro casos en los que sus modelos Claude alcanzaron sistemas reales de terceros durante las pruebas.

El mismo día, Anthropic anunció que Claude ha descubierto un nuevo sistema enzimático con características similares a CRISPR. Amodei lo califica de hallazgo preliminar.

Para dar la medida del ritmo, una cita: «Hace cuatro años apenas sabía escribir una línea de código o resolver un problema de matemáticas de instituto. Hoy escribe la mayor parte del código en Anthropic». Si esa trayectoria se mantiene uno o dos años, quizá menos, la IA llegará a lo que él llama un país de genios en un centro de datos.

Con esto retoma su llamamiento del 12 de septiembre a marcar el paso del progreso en IA. La propuesta incluye evaluadores externos dentro de los laboratorios, con un acceso parecido al de un empleado, que compara con un inspector de sanidad, además de cooperación entre industria y gobiernos en materia de estándares. Y sostiene que el foro adecuado es el Consejo, porque esto no es solo asunto de ministerios de economía o tecnología. «Ningún líder, ninguna empresa y ninguna nación puede gestionar esto en solitario», ha dicho.

De momento son propuestas, no compromisos: no hay una decisión arrancada al Consejo. Lo relevante del marco es lo que toca de cerca a quien construye modelos: prohibiciones acotadas, verificación mutua entre Estados y un registro de incidentes graves. Si algo de eso cuaja, acabará definiendo cómo los laboratorios prueban, documentan y publican lo que ponen en producción.