Lo primero en lo que hay que fijarse es en si tu web es
visible a los ojos de todos los motores
de búsqueda, y sobre todo, en cómo estos están viendo tu página ya que puede
que no pueda leer correctamente tu web.
ARCHIVO ROBOTS.TXT
El archivo robots.txt se usa para impedir que los motores de
búsqueda accedan e indexen ciertas partes de tu web. Por ejemplo en Wordpress,
para que no accedan a los archivos de administrador, el archivo robots.txt
sería así:
User-agent:*
Disallow:/wp-admin
Debes tener mucho cuidado de no bloquear el acceso de
los motores de búsqueda a toda tu web sin darte cuenta, como en este ejemplo:
User-agent:*
Disallow:/
Debes comprobar que el archivo robots.txt no está
bloqueando ninguna parte importante de tu web, bien visitando la url
www.ejemplo.com/robots.txt, o bien a través de Google Webmaster Tools.
El archivo robots.txt también puede usarse para indicar
donde se encuentra nuestro sitemap, añadiendo en la última línea del documento:
Sitemap: http://www.ejemplo.com/sitemap.xml
Por lo tanto, un ejemplo de robots.txt completo para
Wordpress se vería así:
User-agent:*
Disallow:/wp-admin
Sitemap:http://www.ejemplo.com/sitemap.xml
Si quieres profundizar más en detalle sobre este archivo, es
recomendable visitar la web con la información sobre el estándar.