martes, 9 de mayo de 2017

Google y los archivos robots.txt.




Lo primero en lo que hay que fijarse es en si tu web es visible a los ojos de todos  los motores de búsqueda, y sobre todo, en cómo estos están viendo tu página ya que puede que no pueda leer correctamente tu web.


ARCHIVO ROBOTS.TXT



El archivo robots.txt se usa para impedir que los motores de búsqueda accedan e indexen ciertas partes de tu web. Por ejemplo en Wordpress, para que no accedan a los archivos de administrador, el archivo robots.txt sería así:

User-agent:*
Disallow:/wp-admin

Debes tener mucho cuidado de no bloquear el acceso de los motores de búsqueda a toda tu web sin darte cuenta, como en este ejemplo:

User-agent:*
Disallow:/

Debes comprobar que el archivo robots.txt no está bloqueando ninguna parte importante de tu web, bien visitando la url www.ejemplo.com/robots.txt, o bien a través de Google Webmaster Tools.

El archivo robots.txt también puede usarse para indicar donde se encuentra nuestro sitemap, añadiendo en la última línea del documento: 

Sitemap: http://www.ejemplo.com/sitemap.xml

Por lo tanto, un ejemplo de robots.txt completo para Wordpress se vería así:

User-agent:*
Disallow:/wp-admin
Sitemap:http://www.ejemplo.com/sitemap.xml

Si quieres profundizar más en detalle sobre este archivo, es recomendable visitar la web con la información sobre el estándar.