通用WordPress程序网站Robots.txt文件设置文档参考

对于才开始学习网站建设的朋友来说，我们追求的只要能把网站搭建起来，能够在自己的博客、网站上更新内容就足矣。但是在网站运营中，尤其是在很多同行竞争中，如何才能让自己的网站具有特色且拥有人气，不仅仅需要在网站内容中需要有自己的原创、思想，更有需要在网站技术范畴需要适当的提高用户、搜索引擎的体验。

比如我们的网站是否有sitemap地图文件、是否有robots.txt文件屏蔽一些不需要让蜘蛛爬行的目录等设置，今天蜗牛看到在知更鸟博客分享的针对WORDPRESS网站程序根目录的ROBOTS.TXT文件。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\\
Disallow: /attachment/
Sitemap: http://www.itbulu.com/sitemap.xml

我们可以复制上面的内容，在根目录创建或者已有的robots.txt文件覆盖。把最后一行的地图文件路径修改成我们自己的路径。