Migue Junio 18th, 2007
Robots.txt no es un archivo inútil, es realmente útil sobre todo si utilizas algún CMS como Wordpress, sobre todo para evitar el contenido duplicado 
El archivo robots.txt le indica a los robots de los buscadores, cuales páginas de tu sitio pueden agregar al buscador y cuales no. ¿Para qué hacer eso? Primero, para evitar el contenido duplicado y segundo, debido a que a lo mejor hay ciertas páginas o carpetas de tu sitio, que no quieres que la gente las encuentre a través de un buscador.
Ahora empezemos, vamos a crear un archivo llamado Robots.txt y dentro de ese archivo, agregar lo siguiente:
sitemap: http://www.TUBLOG.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /author/
Disallow: /archives/
Disallow: /trackback/
Disallow: /feed/
User-agent: Googlebot-Image
Allow: /*
User-agent: Mediapartners-Google
Allow: /*
¿Qué es eso te preguntarás? Pues te explicaré.
http://www.TUBLOG.com/sitemap.xml, sustituye tublog.com con el link de tu blog. Esto lo que hace es indicarle a los bots de los buscadores, cual es el sitemap de tu blog.
“Disallow” se encarga es decirle a los buscadores, que no tomen en cuenta esoas páginas o carpetas.
Recuerda, el robots.txt que te acabo de mostrar es si usas Wordpress. Si no lo usas, puedes crear un robots.txt donde indiques que carpetas o archivos quieres que los buscadores no tomen encuenta agregando lo siguiente:
User-agent: *
Disallow: /carpeta/
User-agent: * significa que todos los buscadores deben seguir las instrucciones que darás a continuación
Disallow: /carpeta/ significa que no deberan indexar esa “carpeta” a los buscadores
Si tienes sugerencias, dudas o consejos, no dudes en comentarlos para tratar de resolverlos
Fuente Planeta Wordpress
