Cuando publicamos nuestra página web en Internet nada nos gustaría más que se encuentre en las primeras filas de todos los buscadores. Para ello hay que adaptar nuestro sitio web a unos simples y efectivos tips a nivel de SEO. Y hace un par de semanas Google ha actualizado sus directrices para webmasters, indicando que el bloqueo de los archivos CSS, JavaScript e imágenes pueden causar un impacto negativo en sus rankings de búsqueda y de indexación al momento de utilizar el buscador.
El acceso a los archivos CSS, JavaScript, Imágenes le permite al SEO indexar y renderizar la información de nuestros sitios web de manera más óptima. Para esto debemos asegurarnos en este caso de que los crawlers de Google tengan acceso a dichos archivos. ¿Cómo podemos lograr esto?. Solo debemos crear un archivo llamado:
robots.txt
En este archivo vamos a configurar las carpetas o los archivos a los que queremos que los buscadores accedan. Por ejemplo si queremos denegar el acceso de los robots de los buscadores en nuestro servidor debemos colocar las siguientes lineas en el archivo robots.txt:
User-agent: *
Disallow: /
Como podrán notar hemos colocado dos variables en el archivo, una es “User-agent” que tiene un “*” como valor asignado indicando que puede ser un SEO de cualquier buscador. Y la otra variable que tenemos es “Disallow” que tiene un “/” como valor asignado indicando que puede realizar la búsqueda a partir del directorio raíz de la aplicación. Si queremos denegar el acceso a una o varias carpetas en especifico debemos colocarlo de esta manera:
User-anget: *
Disallow: /
Disallow: /home
Disallow: /usr/
Ahora para permitir el acceso del SEO a nuestro servidor solo debemos cambiar la variable “Disallow” por “Allow” e insertar las siguientes lineas:
User-agent: *
Allow: /
Ya que sabemos como configurar el archivo “robots.txt” para los SEO de las distintas marcas, vamos a personalizarlo con el agente de googlebot y lo hacemos de la siguiente manera:
User-agent: GoogleBot
Allow: /folder/archivo.css
Allow: /folder/archivo.js
Allow: /folder/imagenes
Teniendo en cuenta que “folder” es la ruta en donde se encuentra los archivos CSS, Javascript e Imágenes. De esta manera ya tenemos nuestro archivo listo y configurado para optimizar la búsqueda de contenido en nuestra web. Si quieres comprobar que el archivo quedo configurado correctamente puedes utilizar la herramienta “Google Webmaster Tools” y allí podrás encontrar bajo la opción Rastreador/Crawl el link de robots.txt tester.