Una caída de red por un enlace DWDM inactivo provocó un desastre de sistemas en una empresa grande

La historia se remonta a un año pasado, cuando trabajaba como ingeniero de almacenamiento en una gran empresa con oficinas en el Reino Unido. La infraestructura estaba basada en arrays Symmetrix DMX de EMC, que en ese entonces se alimentaban mayoritariamente de unidades SAS y contaban con extensos cachés de RAM, pues los SSDs todavía no eran comunes en entornos corporativos.

A finales de septiembre, cuando la mayoría de los empleados regresaba al trabajo tras las vacaciones de verano, el negocio experimentó un colapso masivo. Los clústeres de Windows que alojaban el correo, los archivos y las bases de datos comenzaron a fallar y reiniciar con una frecuencia que generó alarma.

La causa, según el relato, era la pérdida de uno de los cuatro enlaces redundantes en un multiplexer de fibra DWDM que conectaba los dos sitios principales. El enlace había dejado de funcionar hace unos meses y estaba en proceso de reparación, pero sin un impacto visible porque la carga de tráfico era menor durante la temporada de vacaciones.

Al volver los empleados, el tráfico de replicación síncrona entre los dos sitios superó el umbral crítico de latencia. La banda disponible era solo el 75 % de la capacidad, lo que provocó un aumento de la latencia de los paquetes. Los sistemas de replicación, que dependen de una respuesta rápida del disco de quorum, detectaron la latencia y activaron sus medidas de seguridad de pérdida de quorum, provocando un reinicio de los clústeres.

El reinicio, a su vez, generó picos de tráfico que empeoraron la situación en cascada, afectando a otros clústeres. La solución temporal fue suspender la replicación, lo que estabilizó los sistemas hasta que se completó la sustitución del enlace de fibra y la ampliación a más de cuatro enlaces.

El caso destaca los riesgos de la replicación síncrona en producción. En teoría es atractiva, pero en la práctica requiere desactivar el caché de escritura del sistema operativo y realizar operaciones a la velocidad del disco, lo que incluye el tiempo de ida y vuelta de la red. En entornos con latencia variable, la degradación del rendimiento es inevitable y puede desencadenar fallos en cascada.

Para los administradores, la lección es clara: la resiliencia de la infraestructura debe evaluarse con cuidado, considerando la estabilidad de las conexiones de red y la configuración de los sistemas de replicación. Mantener enlaces de fibra redundantes y monitorizar la latencia de forma proactiva puede evitar que una caída inesperada se convierta en un desastre de sistemas.

Para más contexto histórico sobre la latencia en redes de larga distancia, puede consultar el artículo sobre el correo de 500 millas: 500 mile email.