OpenAI introduce Astra con razonamiento de recurrencia opaca y alarma a expertos en seguridad
El nuevo modelo Astra usa "recurrent depth", una técnica que dificulta el seguimiento de su cadena de pensamiento, generando preocupación entre la comunidad de IA segura.
OpenAI ha puesto en marcha Astra, su último modelo de razonamiento, y lo ha equipado con una técnica llamada recurrent depth o recurrencia opaca. La idea es que el modelo procese la misma consulta varias veces en un bucle, en lugar de seguir una cadena lineal de pasos. Según The Information, esa forma de operar reduce la trazabilidad de la cadena de pensamiento, lo que complica su monitorización.
La novedad ha despertado la alarma de varios voces en el ámbito de la seguridad de IA. Buck Shlegeris, CEO de Redwood, escribió en su blog que le preocupa no saber si Astra es mucho menos monitorizable que los modelos anteriores y que, de ampliarse la técnica, podría “destruir totalmente la monitorabilidad de la cadena de pensamiento”. Por su parte, Zvi Mowshowitz, veterano defensor de la seguridad en IA, sugirió que podría ser necesario regular el uso de esta técnica para evitar una "carrera hacia el abismo" entre los laboratorios.
En condiciones normales, la cadena de pensamiento de un modelo muestra los pasos secuenciales que sigue para resolver un problema, sirviendo como herramienta para detectar conductas indeseadas o desviaciones de alineación. En el caso de Astra, la recurrencia opaca deja menos rastros legibles, lo que dificulta ese tipo de auditorías. OpenAI ha subrayado que el uso de la técnica está limitado y que la cadena de pensamiento del modelo sigue siendo legible en la mayor parte de los casos. Además, la empresa ha reiterado su compromiso con sistemas de monitorización de cadenas de pensamiento, como recordó el científico jefe Jakub Pachocki en X.
Otros laboratorios también están observando la jugada. Redwood Research, a través de su científico Ryan Greenblatt, advirtió que la recurrencia opaca podría escalar más rápido que el razonamiento tradicional, llegando a ocultar casi todo el proceso de razonamiento en el espacio latente. Anthropic y DeepMind de Google ya estarían discutiendo la técnica, según un segundo informe de The Information.
Aún queda por ver si OpenAI limitará la expansión de la recurrencia opaca o si otros actores adoptarán la técnica de forma más amplia. Lo que es claro es que la capacidad de seguir el razonamiento de los modelos será un punto crítico en el debate sobre la seguridad y la gobernanza de la IA en los próximos años.
