Al parecer desde hace varios días, puntualmente luego del 17-18 de Abril, Google ha introducido algunos cambios en la manera en que rastrea los sitios webs de algunos webmasters. ¿Por qué digo algunos? Por que no está afectando a todo el mundo, sino a un grupo selecto de Webmasters.
El problema que acontece ahora, y que esperemos que Google arregle pronto, es que si ingresas a Webmaster Tools de Google, podrás ver un mensaje que te dice que GoogleBot no pudo rastrear tu sitio por problemas de conectividad, que seguramente sea problema de firewall, del servidor sobrecargado y algunas otras razones lógicas en este tipo de casos. El mensaje exacto es este:
http://www.elsitio.com/: el robot de Google no puede acceder a tu sitio
Durante las últimas 24 horas, el robot de Google ha encontrado 1103 errores al intentar conectar con tu sitio. La tasa de error de conexión general del sitio es de 13.7%.
Encontrarás más información acerca de estos errores en Herramientas para webmasters de Google.
Acción recomendada
Verifica que el software de servicio web de tu sitio esté instalado y se ejecute correctamente.
Verifica que el firewall o el servidor no estén bloqueando el acceso del robot de Google a tu sitio.
Verifica que todos los scripts que se ejecutan en tu sitio tengan los permisos correctos para ejecutarse.
Verifica que el sitio tenga permisos adecuados para acceder a las páginas de tu sitio.
Con Herramientas para webmasters de Google, busca un día en el que se haya registrado una tasa de errores elevada y examina los registros del servidor web de ese día. Identifica los errores de los registros del día en cuestión y soluciona los motivos que los hayan provocado.
Es posible que tu sitio esté sobrecargado. Habla con tu proveedor de alojamiento sobre cómo volver a configurar el servidor web o sobre cómo asignar más recursos al servidor web.
Si tu sitio redirecciona a otro nombre de host, otra explicación posible es que una URL del sitio esté redireccionando a un nombre de host que tenga uno o más de los problemas enumerados arriba.Cuando creas que has solucionado el problema, usa Explorar como Google para verificar que el robot de Google pueda acceder correctamente a tu sitio.
Un cliente afectado nos contactó preocupado y comenzamos a investigar junto a él desde la mañana hasta la noche, hicimos pruebas de todo tipo, entre ellas:
1) DNS responden bien, probamos usar http://intodns.com/elsitio.com, http://dnscheck.pingdom.com/?domain=elsitio.com así como http://www.dnslog.com
2) HTTP responde bien a cualquier request, sea desde un navegador, desde un shell, usando wget, curl, e incluso probando la carga del dominio desde herramientas que intentan hacer tests contra los servidores desde diferentes puntos geográficos, por ejemplo: http://host-tracker.com/
3) Verificamos los archivos robots.txt y .htaccess en caso de que pudieran estar bloqueando a GoogleBot.
4) Lo mismo con archivos php modificados en el sitio recientemente, tampoco encontramos nada raro.
5) El firewall tampoco bloqueaba ninguna conexión de GoogleBot.
6) Las reglas de mod_security tampoco reportaban problemas.
7) La configuración del server DNS y del servidor Apache estaban perfectas del lado del servidor, y habían permanecido así durante meses sin problema.
8) Descartando que fuera una respuesta de Apache y mod_php, cambiamos el servidor para usar Nginx 1.4 junto con php-fpm, pero el error seguía sucediendo al explorar como GoogleBot.
9) Se verificaron todas las configuraciones de red en el servidor (cables de red, tarjeta de red, configuraciones del switch y tests de conectividad desde dentro y fuera de la red), todo perfecto y sin problemas.
10) Encontramos que al menos en este caso el afectado era el subdominio www y no eldominio.com, ya que este último
Si te ves afectado por el mismo comportamiento, no te vuelvas loco, te recomendamos seguir la discusión en la que el mismo Matt Cutts ha reconocido que seguramente sea un problema del lado de ellos, ya que son cada vez más y más webmasters los que reportan este fallo.
Otras fuentes que hablan al respecto: SERountable
