Un ingeniero de Google desconecta todos los cables de fibra y tumba una zona de G-Cloud

Google ha confirmado que la causa raíz de la interrupción parcial registrada el 1 de septiembre en su región us-central1-b fue un error humano: un ingeniero desenchufó accidentalmente todas las conexiones de fibra óptica de una sección de su infraestructura. El incidente, que se prolongó entre las 07:41 y las 11:52 (hora del Pacífico), provocó una degradación severa de la red y el aislamiento de recursos en esa zona específica del datacenter.

Según el informe de salud del servicio publicado por la compañía, las tasas de caída de tráfico en los recursos alojados en el área afectada alcanzaron el 100% durante el pico del fallo. Esto dejó las máquinas virtuales inaccesibles para los usuarios externos y elevó las pérdidas de paquetes a niveles críticos. Aunque las VMs podían comunicarse entre sí internamente, la pérdida de conectividad hacia el exterior impidió el diagnóstico inicial por parte de los clientes.

El reportaje detalla que el diseño de los centros de datos de Google incluye redundancias cruzadas entre múltiples dispositivos de enrutado. El sistema está preparado para soportar fallos individuales de dispositivos o rutas de fibra, y en la mayoría de los casos, incluso los doble o triple fallos no afectan al tráfico del cliente. Para garantizar esta resiliencia, los dispositivos y las rutas de fibra están físicamente separados y alimentados por fuentes de energía diversas. Sin embargo, el error procedural cometió una acción que invalidó estas salvaguardas: en un periodo de 13 minutos, el técnico desenchufó secuencialmente el 100% de las rutas de fibra en todos los dispositivos implicados.

La velocidad con la que se ejecutó este desconexión física impidió que los sistemas de alerta avisaran al ingeniero de que estaba cometiendo una acción incorrecta antes de que la desconexión fuera total. Una vez detectado el problema, el equipo de operaciones de Google redirigió el tráfico hacia capacidad sana en otras partes de la región, activando los protocolos de resiliencia automáticos. Paralelamente, los técnicos identificaron los enlaces ópticos desconectados y los reinstalaron físicamente. Cuando las conexiones físicas se restauraron por completo, las tasas de flujo de tráfico se normalizaron y la capacidad volvió al servicio.

Este incidente resalta un punto crítico para los administradores de sistemas y arquitectos de infraestructura: la resiliencia técnica no sustituye a la correcta ejecución de los procedimientos operativos. Por muy robusta que sea la arquitectura de redundancia, una acción física mal ejecutada puede anular capas enteras de protección. La lección no es solo sobre la solidez de la infraestructura de Google, sino sobre la gestión del riesgo operativo humano en entornos críticos.