搜索引擎优化高级编程：php版( wordpress新手如何去善用robots.txt对wordpress博客进行优化)

　　搜索引擎优化高级编程：php版(

wordpress新手如何去善用robots.txt对wordpress博客进行优化)

　　

　　在百度站长平台测试我的博客时，出于优化的惯性，我测试了博客的Rbots，然后在百度上搜索了WordPress博客机器人的写法。终于有个了解了，也在这里分享给一些wordpress新手，看看如何善用robots.txt来优化wordpress博客。

　　一、首先普及一下robots.txt的概念：

　　robots.txt（统一小写）是一个ASCII编码的文本文件，存放在网站的根目录下，通常告诉网络搜索引擎的机器人（也称为网络蜘蛛）这个网站的内容@> 哪些内容不能被搜索引擎机器人获取，哪些可以被（机器人）获取。该文件用于指定蜘蛛在你的网站上爬取的范围，在一定程度上保护网站的安全和隐私。同时也是网站的优化工具，比如屏蔽网站的重复内容页面。

　　robots.txt 目前还不是一个标准，它只是一个协议！如此多的搜索引擎现在对 robots.txt 中的命令参数的处理方式不同。

　　二、使用robots.txt的一些注意事项：

　　1、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在谷歌管理员工具中的测试结果；

　　2、每一行代表一个命令，空格和隔行将被忽略；

　　3、“#”后面的字符参数将被忽略；

　　4、有独立的User-agent规则，通配符“*”的User-agent会被排除在规则之外；

　　5、可以写sitemap文件的链接，方便搜索引擎蜘蛛爬取整个站点。

　　6、尽量少用Allow命令，因为不同的搜索引擎对不同位置的Allow命令的处理方式不同。

　　三、WordPress robots.txt 优化设置

　　1、用户代理：*

　　一般博客robots.txt命令设置是面向所有蜘蛛程序，使用通配符“*”即可。如果有独立的 User-agent 指令规则，尽量放在通配符“*”User-agent 规则的上方。

　　2、禁止：/wp-admin/

　　禁止：/wp-content/

　　禁止：/wp-includes/

　　屏蔽蜘蛛捕捉程序文件，也节省搜索引擎蜘蛛资源。

　　3、不允许：/*/trackback

　　每个默认的 文章 页面代码都有一个引用链接。如果不阻止蜘蛛抓取，网站就会出现重复页面内容的问题。

　　4、禁止：/feed

　　禁止：/*/feed

　　禁止：/comments/feed

　　头部代码中的feed链接主要是为了提示浏览器用户订阅这个站点，一般站点都有RSS输出和网站地图，所以被搜索引擎屏蔽掉这些链接，节省蜘蛛资源。

　　5、不允许：/?s=*

　　不允许：/*/?s=*

　　这个不用解释，屏蔽和抓取站点中的搜索结果。如果这些链接没有出现在网站上，并不意味着它们不存在于网站之外。如果 收录 存在，会导致 TAG 等页面的内容相似。

　　6、不允许：/?r=*

　　屏蔽消息链接插件留下的变形消息链接。（当然，如果没有安装相关插件，则不需要此命令）

　　7、禁止：/*.jpg$

　　禁止：/*.jpeg$

　　禁止：/*.gif$

　　禁止：/*.png$

　　禁止：/*.bmp$

　　阻止和捕获任何图片文件主要是为了节省一些带宽。不同的网站 管理员可以根据自己的喜好和需要来设置这些命令。

　　8、不允许：/?p=*

　　阻止捕获短链接。默认header中的短链接，百度等搜索引擎蜘蛛会尝试抓取，虽然最终的短链接会301重定向到固定链接，但这仍然造成蜘蛛资源的浪费。

　　9、不允许：/*/comment-page-*

　　不允许：/*?replytocom*

　　阻止链接以捕获消息信息。一般你不会收录访问这样的链接，但是为了节省蜘蛛资源，它们也被屏蔽了。

　　10、不允许：/a/date/

　　禁止：/a/author/

　　禁止：/a/category/

　　不允许：/?p=*&preview=true

　　不允许：/?page_id=*&preview=true

　　禁止：/wp-login.php

　　阻止其他各种链接以避免重复内容和隐私问题。

　　10、站点地图：***.com/sitemap.txt

　　网站映射地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎抓取全站内容。当然，您可以设置多个地图地址。需要注意的是Sitemap的S要大写，地图地址也应该是绝对地址。

　　上述 Disallow 指令都不是强制性的，可以按需编写。也建议站点打开谷歌管理员工具，检查站点的robots.txt是否规范。

　　好了，以上就是使用robots.txt优化WordPress博客的详细内容了。我希望它可以帮助像我一样不熟悉 wordpress 博客的学生。