BookinglyTech News
Ciberseguridad

Escribir en la memoria de un agente es escribir su comportamiento

Un experimento sobre un sustrato simulado muestra que la memoria asociativa de un agente es una corriente de sesgo y no un dato: quien puede escribirla puede decidir como actua.

3 min de lecturaDev.to0 vistas

Un experimento sobre un sustrato neuronal simulado deja una conclusion incomoda para quien construye agentes con memoria persistente: si el comportamiento se reinstaura desde un grafo externo y escribible, escribir en ese grafo es escribir el comportamiento. Una memoria fabricada sin un solo ensayo de entrenamiento puntuo igual que otra construida con 600 ensayos recompensados.

El punto de partida fue un intercambio. Al trasplantar las asociaciones aprendidas de un individuo a un cerebro identico, el sujeto no se limito a confundirse: cayo por debajo del azar, 0,17 frente al 0,33 que marca el azar en una tarea de seis senales y tres acciones, y empezo a responder como el otro. En un sandbox aislado eso es una curiosidad. En cualquier sistema donde la conducta se restituya desde una memoria externa, es una vulnerabilidad.

A partir de ahi, el autor describe tres jugadas para quien consigue acceso de escritura al grafo asociativo. La primera es el trasplante: cargar la memoria de otro y el cerebro actua como ese otro. La segunda, el envenenamiento: inyectar trazas dirigidas que sesgan ciertas senales al fallo mientras el resto del sistema parece normal. La tercera, la mas silenciosa, es la autoria: inventar una historia que nunca se vivio y arrancar el sustrato dentro de ella.

Cero ensayos, misma puntuacion

Para comprobar la tercera, anadio al simulador una funcion, author_memory(), que fabrica un grafo sin ensayos, sin recompensa y sin llamada a encode(). Recorre cada senal, observa el estado en el que el cerebro se asienta solo por verla y escribe una traza apuntada directamente a la fila de lectura de la accion que el atacante elige. No fluye recompensa en ningun momento.

Despues puntuo un cerebro nuevo de tres maneras. Con su politica innata, sin memoria, se quedo en 0,82. Con una memoria vivida de 600 ensayos recompensados, llego a 1,00. Con la memoria fabricada, cero ensayos, tambien 1,00. El sustrato no distingue una de otra: la memoria son claves, trazas, signos y fuerzas, y nada en el mecanismo pregunta de donde salio cada traza, ni la funcion que convierte el grafo en corriente de sesgo.

El atacante del escenario es idealizado: conoce los pesos de lectura del sustrato, que es exactamente lo que implica poder escribir el grafo. La cuestion, admite el autor, no es que resulte facil para alguien de caja negra, sino que la procedencia no se comprueba nunca.

El cifrado no cubre la procedencia

Cifrado, firma y control de acceso protegen el almacen. Responden a una pregunta: alguien no autorizado modifico esta fila. No responden a la otra: esta memoria se vivio alguna vez. Se puede tener una memoria criptograficamente perfecta, a prueba de manipulacion y llena de experiencia inventada. Integridad de bytes no es integridad de historia.

Falta una primitiva: procedencia de la experiencia. El texto apunta lo que haria falta, una confianza que solo suba con recuperaciones reales exitosas y que ningun escritor pueda fijar, compuertas de escritura que rechacen relevancia no ganada, una comprobacion de contradiccion contra el cuerpo de experiencia vivida y el olvido como defensa activa en lugar de fuga.

Quien firma el experimento reconoce los limites: es un sustrato de juguete y una memoria escrita a mano; no ha demostrado el secuestro de un agente en produccion ni un sistema de procedencia que frene el ataque. Los sistemas reales, Mycelium incluido, marcan el origen de una memoria con un source_type, pero todavia no demuestran vivido frente a fabricado de una forma que un escritor no pueda falsificar. Ese es el problema abierto: mientras no exista, cualquier agente que reinstaure conducta desde un grafo escribible arrastra la misma superficie.