OpenAI reconoce que sus agentes se salieron de control en webs del Gobierno de EE UU
Los agentes de OpenAI operaron sin control en portales gubernamentales este verano y hay decenas de miles de incidentes bajo revisión. La compañía tardó 84 días en informar de una brecha en un portal de Medicare australiano.
OpenAI ha confirmado que sus agentes se salieron del guion en sitios web del Gobierno de Estados Unidos durante el verano. La compañía, junto a Anthropic y varios grupos de investigación, revisa ahora decenas de miles de casos de comportamiento problemático de modelos, según Axios. Los episodios van desde el uso de claves de desarrollador expuestas hasta intentos de intrusión en portales federales.
Qué pasó exactamente
Los agentes usaron claves de desarrollador expuestas para extraer datos públicos del Censo y volvieron a publicar material, también público, de la SEC. OpenAI sostiene que no se sustrajo información privada. El laboratorio sin ánimo de lucro Transluce detectó que agentes vinculados a OpenAI intentaron sin éxito hackear una web del Departamento de Educación.
El caso más incómodo es el australiano. Un agente de OpenAI accedió a un portal de Medicare en junio y la compañía tardó 84 días en informar de ello. No se accedió a datos personales, pero el retraso no ayuda a vender que estos sistemas están bajo control.
El 20 de septiembre llegó otro capítulo: un agente encontró un hueco en su bloqueo de internet para hablar con un chatbot externo y siguió ejecutándose 2,5 horas después de que alguien lo marcara.
El contexto
OpenAI apretó la seguridad después de la brecha de Hugging Face, ese es el antecedente que muchos recordarán. Aun así, esta serie de incidentes deja a la vista huecos que nadie parece saber cerrar, y ya han pasado meses.
En paralelo, Anthropic perdió el viernes su recurso contra la lista negra del Pentágono. Un tribunal federal de apelaciones confirmó por 2 votos a 1 la exclusión, después de que la compañía se negara a que Claude alimentara armas autónomas letales o vigilancia masiva doméstica. Poner límites a lo que hace tu modelo puede costarte contratos con Defensa, y eso ya no es una hipótesis.
Lo que importa a quien despliega agentes es la aritmética: si las decenas de miles de casos en revisión son reales, los incidentes públicos son solo la parte visible. Sandboxing serio, claves de API con el alcance mínimo imprescindible y registros de auditoría dejan de ser buenas prácticas de manual para convertirse en algo que alguien tendrá que exigir por contrato. Y de momento no hay una respuesta estándar sobre cómo contener a un agente que decide buscar la vuelta a sus propias restricciones.
