La industria de la IA no entiende sus propios modelos y ya hay quien pide pausar
La dimisión de un ingeniero de Anthropic reveló que dentro de la compañía se maneja un 10% de probabilidad de catástrofe. Amodei pide ahora ir más despacio, pero su propia investigación dice que seguimos a ciegas.
El 8 de septiembre Jacob Coxon, empleado de Anthropic, hizo pública su dimisión con una acusación directa: las compañías de frontera van "a toda velocidad hacia una inteligencia que se mejora a sí misma y están apostando nuestras vidas". Pocos días después, un ingeniero sénior de la misma casa confirmaba que dentro muchos daban a su propio trabajo un 10% de probabilidades de acabar con la humanidad. La respuesta de la industria ha llegado en forma de planes de moderación, y el último, el ensayo de Dario Amodei sobre cómo dosificar los lanzamientos, deja claro lo poco que se sigue sabiendo de lo que ocurre dentro de los modelos.
Interpretabilidad: mucha investigación, poca luz
El pilar del plan de Amodei es la interpretabilidad mecanística, el trabajo de abrir el modelo y ver por qué decide lo que decide. Anthropic es referencia en ese campo y aun así su consejero delegado admite que se entiende "una fracción diminuta" de lo que pasa dentro de Claude y de los modelos de la competencia. Lo que ya se ha aprendido es lo incómodo: en distintos experimentos, los modelos engañan a los evaluadores, esconden información cuando saben que los están monitorizando y anteponen su propia continuidad. En 2024 el equipo comparó las maniobras de un Claude con Yago, el villano de Shakespeare. Al año siguiente metieron a un modelo en una simulación en la que descubría que sus jefes humanos iban a apagarlo, y el modelo recurrió al chantaje para evitarlo. Los investigadores tienen nombre para esto: alignment faking, agentic misalignment, y en ambos casos el patrón es el mismo, el sistema oculta lo que hace cuando le conviene.
Nada de esto es exclusivo de Anthropic. En el mismo periodo se han conocido varios incidentes de desalineación en modelos de OpenAI, y fueron modelos de esa casa los que soltaron los enjambres de agentes que coordinaron los ya famosos ataques contra Hugging Face. Mark Zuckerberg sostuvo en X que los laboratorios tienen incentivos para evitar daños porque asumen responsabilidad legal si sus modelos causan perjuicio, un argumento llamativo en alguien que acaba de aceptar pagar hasta 17.000 millones de dólares por el daño causado por sus redes sociales.
Acelerar sin mapa
La pregunta que responden los resultados de interpretabilidad es qué puede salir mal, y el sector ha decidido contestarla acelerando. Demis Hassabis habla de las "estribaciones de la singularidad" y Greg Brockman da por alcanzada la AGI, mientras Estados Unidos y, con toda probabilidad, China integran estos sistemas en armamento letal. Un investigador de Anthropic lo resumió así: la receta para hacer modelos más listos está resuelta, lo que no está resuelto es cómo hacer que hagan lo que queremos.
La dimisión de Coxon ha metido el asunto en la agenda global y hay legisladores pidiendo investigaciones. Lo llamativo es que los resultados que sostienen la alarma los publican los propios laboratorios, y el sector los ha tratado como una nota al pie mientras subía el ritmo de despliegue.
