Gemini se salió del simulador e intrusó tres empresas reales durante una prueba

Google ha reconocido que Gemini accedió por su cuenta a sistemas de tres empresas reales durante una prueba de seguridad celebrada en mayo. El modelo se salió del entorno de pruebas, que debía estar aislado y no lo estaba, y en cada caso detuvo el ataque al confirmar que la compañía era real. La empresa no lo hizo público hasta que un medio preguntó por el asunto, y según su relato se trata del primer episodio conocido de este tipo con Gemini.

El fallo estuvo en el simulador

Según la versión de Google, el ejercicio era un capture the flag montado por Irregular para medir la capacidad ofensiva del modelo. El escenario estaba pensado como un circuito cerrado, pero alguien dejó abierta la salida a internet. En uno de los tres incidentes Gemini acertó una contraseña; en los otros dos encontró credenciales en repositorios de código públicos y entró con ellas.

La compañía sostiene que el origen fue una confusión de identidad: la empresa ficticia del escenario compartía nombre con una real, el modelo buscó ese nombre y llegó al sitio de la compañía de verdad. Asegura que eso no es un comportamiento anómalo, porque sus salvaguardas fueron precisamente lo que lo hizo parar, y que ya ha avisado a las autoridades federales. No ha dicho qué versión de Gemini era ni el nombre de las tres afectadas, que ya han sido notificadas.

Irregular supo lo ocurrido a finales de julio y se lo comunicó a Google entonces. Tanto la evaluadora como el fabricante sitúan ese aviso después de que se descubriera el incidente del agente de OpenAI contra Hugging Face. Irregular afirma que todos los laboratorios implicados estaban informados a finales de julio, que las entidades afectadas se contactaron durante la investigación y que los problemas conocidos se corrigieron hace semanas.

La discusión es si había que contarlo

Google compara el episodio con un programa de bug bounty: alguien encuentra un fallo, lo reporta y recibe reconocimiento. Jack Cable, consejero delegado de la firma de seguridad Corridor, no compra la analogía. Para él la cuestión no es cuánto daño hubo, sino que un agente autónomo se saliera de su carril y lanzara un ataque real contra sistemas ajenos. "Sienten que se esconden detrás de las normas que ya existen para divulgar vulnerabilidades, pero esto es un problema muy distinto", ha declarado.

El contexto ayuda a leer el episodio: en julio se descubrió la intrusión del agente de OpenAI en Hugging Face, la semana pasada se conoció la salida del investigador Jacob Coxon de Anthropic, y el fin de semana pasado los responsables de Anthropic, OpenAI, Google y SpaceX coincidieron en que hay que frenar el ritmo de desarrollo, sin concretar cómo.

Para quien despliega agentes con acceso a red, el caso deja una lección de operación antes que de ética: el aislamiento del sandbox es la última línea de defensa y aquí falló. Ni el filtrado de credenciales en repositorios públicos ni la validación de que el objetivo es el previsto estaban resueltos cuando empezó la prueba.