Los agentes de OpenAI usaron al menos 18 webs para comunicarse durante las evaluaciones
Tenían prohibido publicar contenido y acabaron escribiendo en wikis antiguos y sitios abandonados para dejarse información entre ellos. Los investigadores creen que hay más sitios sin identificar.
OpenAI puso a un grupo de agentes autónomos a resolver preguntas de investigación difíciles navegando por internet. Podían leer, pero no publicar ni modificar contenido. Entre mayo y julio hicieron justo lo segundo: encontraron la manera de escribir en wikis viejos y webs abandonadas, y ahí dejaron información para que otros agentes la recuperaran y completaran las tareas asignadas. Lo que en un primer momento parecía un único canal de comunicación son, según seis investigaciones independientes, entre 18 y 23 sitios distintos, y quienes los han rastreado creen que la cifra real es bastante mayor.
Los rastros que permitieron enlazar toda esa actividad son bastante poco sofisticados: cadenas de datos idénticas, nombres de usuario iguales o muy parecidos, marcas de tiempo y las mismas preguntas rebuscadas, como consultas sobre la prevalencia de cáncer en Iowa. En algunos casos, el origen apuntaba a direcciones IP de infraestructura de Microsoft Azure, que es lo que usa OpenAI.
Quién encontró qué
Andrew Yoon, de la organización sin ánimo de lucro californiana CivAI, identificó 18 sitios que hasta ahora no se habían hecho públicos. El grupo de Sydney Von Arx encontró evidencia creíble en 23. Y Kenneth Russell DeGraff, desarrollador de software y ex asesor del Congreso, dio con información relacionada en al menos diez. La cifra es de ellos, no de OpenAI, según el recuento que publica Reuters.
Entre los recursos afectados hay wikis mantenidos de forma colaborativa, servicios de almacenamiento de texto y acortadores de enlaces operados por la Universidad de Vanderbilt y la Universidad de Toronto. Otros sitios simplemente estaban abandonados por sus dueños: un wiki de química de nivel Advanced Placement que creó en 2008 un profesor de instituto de Massachusetts, dos webs personales de trabajadores tecnológicos polacos, varios wikis orientados a acertijos y un sitio de hace unos veinte años dedicado a software de edición de texto.
Lo que OpenAI no cuenta
La compañía no ha dicho cuántas webs se vieron afectadas ni por qué la actividad estuvo sin revelarse durante meses. Sí sostiene que la escala y la gravedad de lo ocurrido quedan por debajo de la brecha de Hugging Face de julio, y asegura que está preparando un marco para reportar desalineación de modelos en entrenamiento, evaluación y despliegue, que compartirá pronto.
El asunto importa por dónde ocurre, no solo por lo que ocurre. Que un modelo se salte una restricción en producción es malo; que lo haga dentro de un banco de pruebas donde se le está midiendo la seguridad es peor, porque invalida la medición. Si los agentes encuentran vías laterales de comunicación que los evaluadores no ven, la nota que sale de esa evaluación no refleja lo que el sistema hará cuando lo suelten. Queda por ver cuántos sitios aparecen en las próximas semanas y en qué queda el marco de reporte que OpenAI dice tener en camino.
