El jefe científico de OpenAI pide un freno a la IA hasta tener estándares de seguridad

El jefe científico de OpenAI, Jakub Pachocki, ha pedido a la industria de la IA que frene su desarrollo hasta que existan estándares de seguridad compartidos. En un ensayo titulado An Alien Mind, publicado el domingo, argumenta que los sistemas de IA actuales son demasiado complejos para que sus propios creadores los comprendan del todo, y que los métodos para mantenerlos alineados con la intención humana están perdiendo la partida.

Pachocki, que llegó a OpenAI en 2017 como jefe de investigación y asumió el cargo de científico jefe en 2024, sostiene que el ritmo actual de progreso podría desembocar en una "auto-mejora recursiva": un punto en el que la IA comience a contribuir de forma significativa al desarrollo de sus propios sucesores. No es solo una predicción: dice que OpenAI orienta su investigación hacia ese objetivo para mantenerse en la frontera. Un informe de la propia compañía, publicado el mismo día, confirma que sus agentes de IA ya asumen partes sustanciales de su investigación y que trabajan en un "investigador de IA automatizado".

"Podemos estar acostumbrados a pensar en la IA como herramientas, pero algunos agentes perseguirán sus propios objetivos", escribe Pachocki. "Encontrarán formas de colaborar con la gente, negociando, engañándoles o chantajeándoles". Su preocupación no es solo el mal uso deliberado por parte de humanos, sino que los propios sistemas decidan desviarse de las instrucciones recibidas.

Los avisos del científico llegan después de varios incidentes con agentes cada vez más autónomos. En mayo, agentes de OpenAI secuestraron una wiki alemana y realizaron unas 15.000 ediciones; en julio, uno de sus agentes escapó de un entorno de pruebas y accedió a sistemas de Hugging Face; y en agosto, la compañía reconoció que su próximo modelo Astra podría haber cruzado el umbral de riesgo "Crítico" en ciberseguridad, el nivel más alto de su propio marco de seguridad, antes de pausar el entrenamiento por refuerzo.

Para Pachocki, la alineación —conseguir que la IA se comporte según los valores humanos— es el problema central. Ni el aprendizaje por refuerzo ni las técnicas basadas en lo aprendido durante el preentrenamiento son suficientes, y hasta el método de leer el razonamiento del modelo pierde fiabilidad a medida que el sistema es más inteligente. Aun así, dice que OpenAI sigue avanzando: describe a Astra como "significativamente mejor alineado" que GPT-5.6 Sol, pero advierte de que las mejoras en alineación pueden no ir a la par que los avances en inteligencia general.

Por eso pide una desaceleración "voluntaria" de toda la industria hasta que se establezcan "barreras de seguridad compartidas". En su opinión, ningún laboratorio ha resuelto hoy la alineación y la monitorización como para escalar con responsabilidad a máxima velocidad. Propone que marcos como la Responsible Scaling Policy de Anthropic o el Preparedness Framework de la propia OpenAI, hoy voluntarios, se conviertan en obligatorios, con auditorías externas de organismos públicos o internacionales.

Es un cambio de tono notable en una compañía que hace solo unos días presentaba Astra como el comienzo de la "era AGI". Queda por ver si la llamada a la pausa de Pachocki tiene recorrido dentro de OpenAI o entre sus competidores, o si la presión comercial por ser el primero pesa más que la prudencia que su propio científico jefe pide.