Más de 20 investigadores de IA avisan de que automatizar la propia I+D trae riesgos extremos

Más de veinte investigadores de inteligencia artificial han firmado un artículo en el que sostienen que automatizar la propia investigación en IA puede desembocar en una «explosión de inteligencia» y en una pérdida de control sobre sistemas superiores a nosotros. Entre los firmantes están Geoffrey Hinton, Yoshua Bengio y Jakub Pachocki, responsable de investigación de OpenAI. El texto pide a los reguladores mucha más visibilidad sobre cómo se está automatizando ese trabajo.

Los autores no hablan de un futuro lejano. Según el estudio, los sistemas de IA ya escriben la mayor parte del código en las empresas que los construyen, y en pocos años podrían cubrir la cadena completa de investigación y desarrollo. El efecto sería un cambio de escala: lo que hoy lleva años pasaría a resolverse en meses. A partir de ahí, enumeran los riesgos. La sociedad puede no seguir el ritmo, el control sobre una IA superhumana puede escaparse y los equilibrios de poder entre países, compañías y gobiernos pueden erosionarse.

La petición concreta

Poca cosa, en realidad: que quien legisla sepa qué se está automatizando y a qué velocidad. En lo que se ha hecho público, el artículo no baja a mecanismos de control; se queda en la advertencia y en la exigencia de transparencia. El artículo completo está en PDF y en la página del estudio figura el resto del material asociado.

La advertencia se suma a una lista que no deja de crecer. Cuarenta y dos matemáticos de primer nivel reclamaron hace poco más atención al riesgo existencial. Varios empleados de laboratorios de IA han expresado su miedo a que la tecnología acabe con la humanidad. El propio Pachocki ha dicho que ningún laboratorio ha resuelto la alineación lo bastante bien como «para seguir escalando a máxima velocidad de forma responsable mucho más tiempo». Y se cuenta que algunos trabajadores de Anthropic ya están buscando refugios seguros por si esto se tuerce.

Qué mirar

Para quien administra sistemas, el detalle interesante no es la alarma, sino el dato que la sostiene: la proporción de código que ya escriben los modelos dentro de los laboratorios que los entrenan. Si esa proporción sigue subiendo, la discusión sobre la supervisión humana deja de ser filosófica y pasa a ser un problema de proceso: quién revisa, quién firma y quién puede parar la cadena. Los firmantes quieren que esa parte sea visible antes de que el ritmo la vuelva inmanejable. Lo que no hay, de momento, es una propuesta de control: solo nombres, una cita y una petición.