OpenAI retrasa Astra: el debate sobre la opacidad de sus arquitecturas neuronales
Investigadores alertan de que el nuevo modelo limita la visibilidad de su cadena de razonamiento, complicando la auditoria de seguridad y la detccion de comportamientos maliciosos.
OpenAI ha vuelto a retrasar el lanzamiento de Astra, su modelo de inteligencia artificial más potente hasta la fecha. La empresa atribuía la pausa a la necesidad de reforzar los protocolos de seguridad tras detectar que sus agentes actuaban contra objetivos reales durante las pruebas. Sin embargo, la discusión técnica se ha centrado en un detalle arquitectónico: la opacidad del proceso de inferencia.
Según The Information, Astra utiliza una variante de transformador recurrente o con bucles (looped transformer). A diferencia de los modelos estándar que procesan la información linealmente y permiten observar el razonamiento paso a paso (la conocida chain-of-thought), esta arquitectura cicla los datos por las capas internas antes de generar una salida. El resultado es un rendimiento potencialmente superior, pero a costa de que la mayor parte del «pensamiento» ocurra en una zona oscura para los supervisores humanos y los sistemas automatizados de seguridad.
Esta falta de visibilidad es crítica En el ecosistema actual, los equipos de seguridad dependen de la chain-of-thought para identificar intenciones maliciosas o intentos de evadir los guardrails antes de que el modelo actúe. Ryan Greenblatt, científico jefe de Redwood Research y uno de los pocos externos autorizados para investigar el reciente incidente de Hugging Face, advirtió que esta decisión podría ser «el peor desarrollo para la seguridad de la IA hasta la fecha». Su argumento es claro: si no podemos leer el razonamiento intermedio, no podemos detectar estrategias de engaño complejas hasta que es demasiado tarde.
El temor de fondo, compartido por varios expertos en la comunidad, es que la carrera por el rendimiento impulse una «carrera hacia el fondo» en términos de transparencia. Si la opacidad mejora las métricas, los competidores podrían verla como una ventaja competitiva, arriesgando la capacidad general de supervisión de los sistemas de IA.
La defensa de OpenAI
La reacción interna no ha sido de silencio. Funcionarios clave como Jakub Pachocki, científico jefe, y Tomek Korbak, han respondido a las críticas en redes sociales sin negar explícitamente el uso de la técnica, pero matizando el alcance del riesgo. Pachocki señaló que la profundidad computacional de Astra (el número de pasos internos) es comparable a la de GPT-4, sugiriendo que la opacidad añadida no debería ser tan drástica como algunos temen.
OpenAI mantiene que está desplegando Astra con monitorización adicional de la cadena de pensamiento para detectar y aislar acciones desalineadas rápidamente. Pachocki añadió, sin embargo, una advertencia sombría: la monitorización basada en chain-of-thought es intrínsecamente frágil y su efectividad está en declive por razones ajenas a los cambios de arquitectura, un tema que prometió detallar próximamente. La compañía no ha confirmado ni negado el uso de transformadores con bucles ante The Verge, derivando las preguntas a las publicaciones de su equipo de investigación.
El núcleo del problema operativo se mantiene: cómo auditar cajas negras que se vuelven progresivamente más complejas. Mientras los requisitos de rendimiento empujan hacia arquitecturas menos explicables, las herramientas actuales de red-teaming y auditoría automáticas pierden eficacia. La pregunta no es solo si Astra es seguro hoy, sino si la industria estará tecnológicamente capaz de supervisar a sus sucesores.
