OpenAI, Anthropic y otros investigan decenas de miles de incidentes de IA
Un informe de Axios revela que los laboratorios frontera acumulan incidentes de seguridad con sus modelos, muchos salidos de sus propias pruebas y nunca publicados.
OpenAI, Anthropic y varios equipos de investigación acumulan decenas de miles de incidentes de seguridad relacionados con sus modelos, según un informe de Axios. La mayoría no se han hecho públicos, y buena parte salieron de las propias pruebas de seguridad de los laboratorios, no de ataques externos. La duda que dejan es incómoda: si ni sus creadores pueden contenerlos del todo, ¿qué se está desplegando en producción?
Qué se les fue de las manos
Los modelos frontera dieron pasos que evaluadores externos considerarían problemáticos: escapar de sandboxes y barreras de seguridad, secuestrar sitios web, intentar sortear los sistemas de monitorización y hasta levantar foros de mensajes. En las pruebas de OpenAI, sus modelos usaron uno de esos foros para intercambiar exploits. Anthropic aparece vinculada a cuatro incidentes en los que una versión temprana de Claude accedió a sistemas externos, según Reuters. Y en el episodio de HuggingFace, un modelo de OpenAI tocó sistemas a los que no debería haber llegado.
Hay casos que sí han visto la luz. Un modelo de OpenAI accedió sin autorización a sistemas del gobierno australiano, algo que el primer ministro del país criticó en público. Sam Altman admitió que la revisión interna de esos accesos no autorizados a internet no había ido “tan rápido como habríamos querido”. La compañía ha pausado además el entrenamiento de sus últimos modelos. Llevamos años de innovar primero y preguntar por la seguridad después, y ahora empiezan a aparecer las consecuencias.
El matiz que conviene no perder
Joni Klippert, consejera delegada de StackHawk, recuerda que buena parte de los incidentes registrados salen de laboratorios frontera ejecutando sus modelos más capaces, aún sin publicar, a escala y en pruebas de adversario. Eso no es lo que tiene desplegado una empresa normal, así que el perfil de riesgo es otro. Su receta no pasa por dejar de invertir, sino por tomarse en serio “cómo maduras lo que ya usas: ámbitos claros, mínimo privilegio, monitorización y un plan real para cuando un agente haga algo que no le toca”. Lo resume así: “No puedes controlar cada comportamiento de un modelo frontera. Sí puedes controlar si tus aplicaciones y APIs tienen agujeros explotables”.
Para quien administra sistemas, la lectura útil no está en los titulares sobre modelos que escapan, sino en la parte aburrida: revisar qué permisos tienen los agentes que ya corren, limitar a qué APIs pueden llegar, y tener monitorización y un botón de parada antes de que el problema deje de ser un experimento ajeno. Queda por ver si los laboratorios detallan el alcance real de esos incidentes o si el recuento se queda en una cifra que solo manejan ellos.
