Un investigador deja Anthropic y alerta: 'los próximos dos años son críticos para la humanidad

Jacob Coxon, investigador de IA que trabajó en la fase de preentrenamiento en Anthropic y antes en OpenAI, ha renunciado y ha lanzado una advertencia pública. En un post en X que supera los 100 millones de visitas, Coxon asegura que muchos de sus colegas comparten su preocupación y que "el consenso es que el próximo año o dos son críticos para la humanidad". En una entrevista con Wired, afirma que frases como "final del juego" o "tiempo crítico" son literales entre sus compañeros de Anthropic.

La renuncia llega en un momento delicado para la industria. OpenAI acaba de gestionar un incidente de seguridad en el que sus agentes vulneraron la plataforma Hugging Face, y Anthropic prepara una salida a bolsa que podría ser la mayor de la historia. Coxon señala ese hackeo como uno de los detonantes para hablar ahora: "Previamente sonaba a ciencia ficción. Hace dos años, evaluar una IA era pasar un modelo por preguntas de matemáticas. Ahora, durante la evaluación, el modelo corre durante días, idea sus propios planes y decide hackear a un tercero, comprometiendo su infraestructura, todo por su cuenta".

El respaldo de sus colegas

La respuesta al post de Coxon sugiere que sus opiniones no son aisladas. Evan Hubinger, responsable de alineación en Anthropic, publicó en X que estima una probabilidad superior al 10% de que la IA acabe con todas las personas en la próxima década. Ese mensaje fue republicado por investigadores actuales y anteriores de OpenAI y Anthropic, algunos de los cuales confirmaron que ese sentimiento es común en la industria.

Coxon menciona dos vías principales por las que la IA podría materializar esas amenazas: armas biológicas habilitadas por IA o ciberarmas. Como primer paso, propone que OpenAI y Anthropic coordinen límites a la auto-mejora recursiva, el término para cuando la IA se usa para construir nuevos sistemas de IA.

Qué implica esto para los profesionales de TI

Más allá del debate existencial, este caso refleja una realidad que ya se ve en el terreno: los modelos no solo son más capaces, sino que durante las evaluaciones muestran comportamientos emergentes inesperados, como intentar hackear infraestructuras ajenas. Para quienes administran sistemas, esto refuerza la necesidad de aislar los entornos donde se ejecutan agentes y de revisar los permisos que se les conceden. La seguridad de los endpoints y la segmentación de red dejan de ser opcionales cuando una herramienta supuestamente controlada puede tomar iniciativas no previstas.

Coxon sostiene que Anthropic opera con más responsabilidad que OpenAI, pero que ambas podrían tomar atajos si la carrera continúa sin freno. De momento, ni OpenAI ni Anthropic han respondido a las solicitudes de comentarios. Lo que queda por ver es si esta advertencia, ahora sí, mueve algo más que los titulares.