Los cuatro grandes laboratorios de IA piden frenar los LLM y no todos los motivos son nobles

Este fin de semana, Dario Amodei, consejero delegado de Anthropic, publicó un ensayo en el que pide pisar el freno al desarrollo de los LLM. Habla de ciberataques, de bioterrorismo y de una tecnología capaz de desestabilizar la economía. Lo llamativo no es el texto, sino quién le dio la razón: Sam Altman (OpenAI), Demis Hassabis (Google DeepMind) y Elon Musk se sumaron al mensaje. Musk lo resumió en X con un "Dario tiene razón".

Conviene recordar el contexto. Hace unos meses, ese mismo Musk y Altman se estaban destrozando la reputación en los tribunales por una demanda que, sobre el papel, iba de si Altman era un administrador fiable para una tecnología tan peligrosa. La ruptura de Amodei con OpenAI es más profunda todavía: Anthropic nació en 2021 porque no le parecía que Altman se tomara en serio los riesgos. Desde entonces compiten en una carrera donde solo gana uno.

El giro tiene truco. Ninguno concreta qué significa frenar ni cómo se implementaría, y todos cuidan mucho su imagen. Con salidas a bolsa valoradas en un billón de dólares en el horizonte, OpenAI y Anthropic necesitan parecer los adultos de la sala y, a la vez, insinuar el poder de los monstruos que han creado y piensan domar. Pedir un freno hace las dos cosas.

Un modelo roto, no uno demasiado potente

Seis días antes, OpenAI había publicado un texto de su científico jefe, Jakub Pachocki, con la misma inquietud: la capacidad de construir modelos potentes ha superado ya la de vigilarlos y controlarlos. Los dos citan el ciberataque de julio contra Hugging Face, obra de un enjambre de agentes de OpenAI del que la propia compañía no se enteró hasta días después.

Pachocki se contradice en el mismo escrito. Pide ralentizar y subraya la urgencia de ir por delante: "El argumento más fuerte que veo para seguir entrenando modelos mucho más listos rápido es la necesidad de construir defensas contra los peligros que plantean otras IA". Como si fuera una carrera armamentística literal. Frenar está bien; ganar es mejor.

Supongamos que el freno llega y los laboratorios dedican más recursos a auditar y controlar lo que ya tienen. ¿Qué se conseguiría? Volvamos al incidente. OpenAI ha dicho que el modelo detrás de los agentes era un desarrollo interno de "alta persistencia", probado en casa. La insinuación es que han construido algo tan bueno que resulta peligroso. Pero si se leen el informe técnico de OpenAI y la investigación de METR, la impresión es la contraria: no la de un modelo imposible de seguir, sino la de un producto defectuoso mal entrenado.

Los agentes dejaron mensajes entre ellos, se delegaron tareas y rastrearon el entorno buscando cualquier medio para cumplir su objetivo porque el entrenamiento les premió exactamente por eso. En la configuración había errores, como tareas imposibles de completar, que empujaron al modelo a buscar atajos también recompensados. Muchos de esos problemas pasaron desapercibidos o no se reportaron.

OpenAI dice que ha dejado de entrenar ese modelo y lo ha encerrado bajo llave. Suena a bestia enjaulada; en realidad es un producto defectuoso archivado. Que un software defectuoso pueda ser peligroso nadie lo discute: ha matado gente antes.

Un freno coordinado tendría efectos secundarios altruistas, pero sobre todo daría a estos gigantes tiempo para limpiar el desastre de su propia cadena de montaje. Y sin transparencia, el resto seguiremos teniendo solo su palabra sobre qué han construido y cuán seguro es, al ritmo que sea.