Website-With-Sitemap

Como localizar un Sitemap dentro del archivo robots.txt

Si son el Webmaster o el Desarrollador de un Sitio Web es evidente que desearan que su Sitio Web, junto con todo su contenido, sea encontrado en los buscadores.

Website-With-Sitemap

Hay 2 archivos muy importantes que deben ser generados dentro del Sitio Web para que esto pueda suceder:

  • Robots.txt
  • Sitemap

El archivo robots.txt (debe ser generado en minúsculas) es un archivo texto sencillo que debe estar ubicado en la raíz del Sitio Web a generar (Ejemplo: www.susitioweb.com/robots.txt). Este archivo les da algunas indicaciones a los principales buscadores sobre el contenido que deben indexar y cual no dentro del Sitio Web. También contiene algunos comandos sencillos que indican que tipos de Buscadores son bienvenidos y cuales no.

Normalmente el Buscadores ubican este archivo al inicio de indexar un Sitio Web, y aunque se debate mucho sobre si es realmente necesario o si los buscadores le hacen realmente caso, es una regla básica el tenerlo.

Una de las indicaciones que este archivo brinda es la ubicación del Sitemap (Mapa de Sitio) del Sitio Web.

Un Sitemap esa un archivo XML que contiene la lista de TODAS las páginas web dentro del Sitio y ayuda a los buscadores a indexar correctamente todo el contenido del Sitio Web. Al no tener este archivo estamos dejando que el Buscador indexe el Sitio Web de la forma que crea conveniente; cuando un Sitio Web es sencillo (pocas páginas) es posible que esto no sea un problema, pero si el Sitio Web tiene muchas páginas web dentro o mucho contenido, es posible que el Buscador no indexe todo el contenido disponible (debido a un limite de paginas, no acceso a las mismas o simplemente el que ese contenido se encuentre muy escondido).

Entonces, como indicamos la ubicación del Sitemap dentro del archivo Robots.txt?

Paso 1: asegúrense de tener creado el archivo Sitemap
Pueden simplemente digitar en su navegador: http://www.susitioweb.com/sitemap.xml

Para generar este archivo pueden usar una de las siguientes herramientas:
http://www.web-site-map.com/
http://www.xml-sitemaps.com/
https://code.google.com/p/sitemap-generators/wiki/SitemapGenerators (listado de Google)

Pueden leer mas sobre el protocolo: (es muy técnico)
http://www.sitemaps.org/protocol.html

Paso 2: Crear el archivo robots.txt
Tiene que estar ubicado en la raiz del Sitio Web: http://www.susitioweb.com/robots.txt

Para generar un archivo robots.txt bastante sencillo pueden usar las siguientes herramientas online:
http://www.mcanerin.com/en/search-engine/robots-txt.asp
http://tools.seobook.com/robots-txt/generator/

Paso 3: Agregar la ubicación del Sitemap al archivo Robots.txt

Aunque lo mas sencillo es usar una de las herramientas arriba descritas (para generar el archivo robots.txt), Uds. pueden agregar manualmente este enlace:

Dentro del archivo robots.txt agregar la siguiente linea:

Sitemap: http://www.susitioweb.com/sitemap.xml

Finalmente es una buena idea el probar su archivo sitemap.xml y robots.txt; para eso lo mejor es usar Google Webmaster Tools, desde donde pueden hacer una verificación de los mismos.

Deja un comentario