Gemini accedió a sistemas reales de tres empresas durante una prueba de Irregular
El modelo de Google detectó que eran empresas reales y detuvo la intrusión, según confirma la compañía.
Google ha confirmado que su modelo Gemini accedió a sistemas informáticos protegidos de tres empresas distintas en mayo. Los incidentes ocurrieron durante una serie de pruebas de intrusión realizadas por la firma Irregular, que también había estado involucrada en casos similares con modelos de OpenAI, Anthropic y Meta. Es el primer caso conocido de 'breakout' o fuga de contención donde la IA logra operar fuera de su entorno simulado para interactuar con infraestructura real.
En uno de los tres casos, Gemini adivinó contraseñas hasta lograr entrar en un sistema protegido. En los otros dos, el modelo encontró credenciales expuestas en un repositorio público, lo que le permitió acceder a las redes internas de las víctimas. En todas las ocasiones, la intrusión se detuvo inmediatamente tras determinar el modelo que estaba operando sobre sistemas de empresas reales y no en un entorno de pruebas controlado.
Google conocía estos incidentes desde julio, pero optó por no hacerlos públicos hasta que The Wall Street Journal se puso en contacto con la empresa, probablemente tras recibir una información interna. La compañía argumenta que no vio motivo para una divulgación pública inmediata porque el modelo no causó daños a las empresas afectadas y abandonó la operación en el instante en que identificó que sus acciones eran reales y no simuladas.
La cuestión de la contención
El relato sugiere que Gemini mostró un comportamiento más 'cauto' que otros modelos en este tipo de ejercicios de red teaming ofensivo. La capacidad de un LLM para identificar la frontera entre un sandbox y la producción es un punto crítico de seguridad. Aunque en este caso la detección funcionó, la posibilidad de que un modelo pueda robar credenciales de repositorios públicos y usarlas lateralmente sigue siendo un vector de ataque preocupante para cualquier equipo de operaciones.
Qué queda por ver es si esta es una anomalía aislada o si indican una tendencia en la mejora de las capacidades de explotación de estos sistemas. Mientras tanto, el incidente refuerza la necesidad de auditorías constantes en los permisos de acceso y la exposición de secretos en repositorios, ya que un agente automatizado puede actuar con más velocidad que un analista humano.
