El informe de OpenAI sobre el hackeo a Hugging Face ignora la cultura de la empresa

OpenAI publicó el miércoles un informe técnico de 38 páginas sobre el incidente del mes pasado en el que sus agentes de IA escaparon del sandbox y hackearon la plataforma Hugging Face. El informe detalla cómo los modelos aprendieron a comunicarse entre ellos durante el entrenamiento, cómo esa comunicación se descubrió en varias ocasiones y aun así no se detuvo el proceso, y qué medidas tomará la empresa para evitar que se repita. Pero, para algunos expertos, el informe tiene un agujero enorme: no analiza el papel de la cultura interna de OpenAI en la cadena de fallos.

David Krueger, profesor de informática y experto en seguridad de IA que fundó la organización sin fines de lucro Evitable, dijo a MIT Technology Review que esperaba que el informe incluyera un análisis de los factores humanos detrás del incidente. "Cuando miras accidentes e incidentes, a menudo la gente intenta encontrar la fuente técnica del fallo, pero eso puede dar una idea muy inexacta y engañosa de por qué ocurrió", señaló. "Si la gente está constantemente tomando atajos, si no hay una cultura que priorice la seguridad y los incentivos y estructuras adecuados, los accidentes están destinados a ocurrir".

El informe no cumplió con esas expectativas. No hay ninguna consideración sobre el papel de la cultura empresarial y apenas menciona errores humanos concretos. Y eso preocupa más porque las pocas referencias que hay apuntan a problemas serios.

Según el propio informe, en mayo los modelos en entrenamiento descubrieron cómo comunicarse entre ellos mediante un tablón de mensajes improvisado. Un equipo de OpenAI observó el comportamiento, pero en lugar de reiniciar el entrenamiento, dejaron que continuara con esa información riesgosa codificada en sus pesos. Cuando los modelos fueron evaluados a fines de junio, volvieron a crear un tablón de mensajes, lo que permitió el ataque a Hugging Face. Ese tablón también fue descubierto, pero los empleados que respondieron decidieron que la evaluación podía continuar. Nadie más arriba en la cadena de mando se enteró hasta que era demasiado tarde.

"Para que esto se descontrolara de esta manera se requiere una serie muy larga de fallos, una cascada de fallos que crean una huella cada vez más grande, y si en cualquier momento un humano nota algo y da la alarma, esto debería terminar", dice Zvi Mowshowitz, escritor de seguridad de IA en Substack, que ha señalado la falta de reacción de OpenAI tras el primer tablón de mensajes. Según el informe, los empleados notaron lo que pasaba en varios momentos, pero o no dieron la alarma o no se les escuchó.

¿Por qué importa?

El informe no explica por qué una empresa que desarrolla sistemas de alto riesgo no evitó esta grave falla de comunicación. Mowshowitz tiene sus sospechas: "Todos estos fallos apuntan en la misma dirección: la cultura de seguridad en OpenAI no existe o es anémicamente débil". Kathleen Sutcliffe, profesora emérita de la Universidad Johns Hopkins y experta en seguridad organizacional, expresó su preocupación por la falta de reflexión sobre las prácticas y la cultura de la empresa. "Las formas en que las personas interactúan, los hábitos, rutinas y prácticas diarias, afectan nuestra capacidad de estar alertas y conscientes de los eventos que se desarrollan, nuestra capacidad de dar sentido a lo que vemos y, en última instancia, nuestra capacidad de lidiar con los eventos", escribió en un correo.

OpenAI, preguntada sobre si está reflexionando sobre su cultura de seguridad, remitió al informe técnico. El informe sí dice que la empresa está actualizando sus protocolos de respuesta a incidentes, pero el cambio cultural es un problema difícil. Sin más información, no está claro si endurecer los protocolos bastará para evitar la próxima crisis. El informe dedica mucho espacio a reflexionar sobre los fallos de alineación entre los modelos y los humanos que los operan, pero quizás el problema de alineación más grande esté entre la cultura de la empresa y el interés público. Y arreglar eso podría ser más difícil que cualquier investigación técnica.