Un 403 a Googlebot durante un mes deja cerca de un millón de páginas sin indexar
Un administrador de sistemas bloqueó a Googlebot con un 403 durante el verano para atajar problemas de capacidad. Mes y medio después, casi un millón de URLs siguen fuera del índice.
Bloquear a Googlebot devolviendo un 403 durante un mes tiene una factura que se paga mucho después. Es lo que le ha pasado al responsable de sistemas de un sitio que, en plenas vacaciones de verano, cortó el acceso a casi todos los user-agent de bots —Googlebot incluido— como reacción de urgencia a problemas de capacidad que nadie podía resolver con la plantilla fuera. El bloqueo ya está levantado y la capacidad, arreglada, pero Search Console sigue dando por no indexada la mayor parte de sus páginas.
Un millón de URLs en el limbo
El botón "Validate fix" de Search Console lleva pulsado más de mes y medio sin que ocurra nada. Pedir la reindexación de una URL suelta sí funciona, pero el sitio tiene alrededor de un millón de páginas sin indexar, así que la vía manual no escala. El síntoma que describe el administrador es claro: Google acepta la petición individual, la procesa, y el resto del catálogo se queda donde estaba.
A eso se suma un detalle de mantenimiento. El sitio no tiene sitemap y hasta ahora no le había hecho falta, porque las páginas se indexaban bien por su cuenta. La mayoría son de carácter permanente, pero se añaden y se retiran todo el tiempo, de modo que generar un sitemap actualizado —o varios, divididos por secciones— es justo la parte que nadie quiere asumir.
La pregunta que queda abierta es la que se hace el propio interesado: qué se puede hacer para acelerar la reindexación sin pasar por un millón de peticiones manuales. Search Console no tiene un botón de "reindexa todo", y el rastreo vuelve a su ritmo cuando vuelve, no cuando lo necesita quien administra el sitio.
Visto desde fuera, el caso deja una lección operativa que conviene tener presente antes del próximo susto de capacidad: para un crawler, un 403 es una negativa en firme, no un "vuelve más tarde". El código pensado para decir "estoy caído, inténtalo luego" es otro, y la diferencia se acaba midiendo en semanas de tráfico perdido y en trabajo manual que nadie había presupuestado.
