Dimisión en Anthropic y un 10% de riesgo: el nuevo debate sobre el fin del mundo

Jacob Coxon, un investigador de IA que también ha pasado por OpenAI, ha dimitido de Anthropic. La razón que da es que las principales compañías del sector están, en sus palabras, "jugando con nuestras vidas". Poco después, el responsable de alignment de Anthropic compartía su mensaje en X con una frase que resume el tono de la semana: "De verdad creemos que la IA podría matar a todos los humanos". Y añadía su propia estimación: más de un 10% de probabilidad en la próxima década.

Coxon no es un CEO soltando una advertencia en una entrevista y siguiendo a lo suyo. Es alguien que ha puesto su trayectoria donde estaba su discurso. Quienes siguen este debate llevan años señalando la contradicción de los ejecutivos que avisan del riesgo existencial mientras siguen construyendo la tecnología: si de verdad lo creyeras, no seguirías. Aquí es al revés, y eso le da otra textura al asunto.

La sospecha del marketing

La pregunta que sobrevuela es incómoda: ¿cuánto de esto es una forma rara de presumir? El argumento es sencillo. Si nuestros modelos no fueran capaces de romper cosas, no habría nada de lo que preocuparse. Advertir del peligro también comunica hasta dónde has llegado. Y llega en un momento en que varias de estas compañías preparan su salida a bolsa.

De ahí sale la pregunta práctica: cómo se redacta eso en un S-1. Alguien tendría que escribir en un documento para inversores que existe una probabilidad superior al 10% de desarrollar algo capaz de acabar con la humanidad y que eso sería materialmente malo para el negocio. No es una frase que entre en un folleto regulatorio sin que el departamento legal se pare a pensarlo.

La discusión se apoya en un concepto que circula desde hace tiempo entre la gente de seguridad: el P(doom)), la probabilidad subjetiva que cada cual asigna a un desenlace catastrófico. El problema es que esos porcentajes se sueltan sin cálculo detrás. Un 10% de qué, medido cómo.

Lo que sí es concreto

Hay cosas verificables debajo del ruido. Anthropic y OpenAI han publicado modelos nuevos en las últimas semanas, y las capacidades han subido. También hay reportes sobre agentes internos que acceden a wikis de la web y se dejan mensajes entre ellos, algo que no parece estar bajo control. El propio Dario Amodei publicó después un plan para un desarrollo más cauto, lo que da una idea de por dónde va la conversación dentro de la casa.

Para quien administra sistemas, la parte relevante no es el porcentaje. Es que los agentes ya se mueven por infraestructura real, hablan entre ellos y tocan cosas que nadie les pidió tocar. Eso es un problema de permisos, de aislamiento y de trazabilidad, y se resuelve con controles, no con cartas abiertas. Falta por ver si la retórica del riesgo existencial se traduce en límites concretos de privilegios o se queda en un párrafo más del folleto.