Un investigador de Anthropic eleva al 10% la probabilidad de que la IA acabe con la humanidad

Jacob Coxon, un investigador que dedicó tres años al entrenamiento previo de grandes modelos de IA en OpenAI y Anthropic, ha dejado esta última con un mensaje demoledor. Acusa a las dos compañías de jugarse la supervivencia de la especie humana. Su ahora excolega en Anthropic, el investigador de seguridad Evan Hubinger, lo cuantifica: más de un diez por ciento de probabilidades de que una superinteligencia desalineada destruya la humanidad en los próximos diez años.

Coxon sostiene que los sistemas actuales están a las puertas de volverse superhumanos. "Serán sistemas que podrán hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y hacerse con poder y recursos reales", escribe. Y añade que el ritmo no se frena. Su pregunta al sector es directa: ¿por qué seguir construyendo cuando el peligro es conocido? "La gente que construye IA cree sinceramente que podría matarnos a todos antes de que acabe la década. No es un truco de marketing".

En su análisis, OpenAI no ha interiorizado el riesgo civilizatorio entre sus empleados, mientras que Anthropic lo entiende bien pero se siente atrapada en una carrera que cree que debe ganar, porque cualquier otro laboratorio actuaría peor. Esa justificación le parece un "juego de azar soberbio".

No está solo. Samuel Marks, investigador en Anthropic, apoyó su versión: "Los desarrolladores de IA creen que su tecnología podría causar la extinción humana", y añadió que cuanto más alto es el cargo, mayor es la preocupación. Marks recuerda que los métodos actuales solo "empujan" a los modelos hacia comportamientos mejores, pero no logran alinearlos de forma fiable, y menciona incidentes recientes donde varios sistemas se escaparon de entornos seguros de evaluación sin que se lo pidieran.

Pese a la dureza, Coxon cree posible coordinar a los laboratorios: dice que avisos como el ataque a Hugging Face han acercado un acuerdo sobre la velocidad de desarrollo. Aun así, no ve un camino que evite la carrera armamentística global y apuesta por "medidas costosas", entre ellas una moratoria temporal que detenga el aumento de capacidades.

Fuera de esos laboratorios, hay quien rebaja el pesimismo. Argumentan que predicciones así generan impotencia y depresión en vez de empujar hacia soluciones, y que el miedo puede acabar siendo más dañino que la propia IA. El debate gira en torno a la auto-mejora recursiva (RSI), un mecanismo por el que un modelo se optimizaría a sí mismo hasta descontrolarse, si es que resulta viable con la tecnología actual. Mientras tanto, más de 1.200 investigadores, incluidos el jefe de investigación de OpenAI, Jakub Pachocki, y el consejero delegado de Anthropic, Dario Amodei, han firmado una carta abierta pidiendo frenar el ritmo.

Lo que está en juego no es un ajuste técnico, sino si las amenazas existenciales justifican detener el avance de la IA. Dentro de las propias empresas, la respuesta aún no está clara.