SEO基础工作-网站页面收录问题,这就需要站长做好.txt

　　SEO基础工作-网站页面收录问题,这就需要站长做好.txt

　　百度的算法一直在变。这让很多站长在做SEO优化的时候犹豫不决，都想弄清楚一件事，如何把握网页更新策略？赶紧提高网站的人气，现在来说说SEO基础工作-网站页收录问题，需要站长做robots.txt。

　　以下是一些常见的爬虫程序。我不知道那些不常见的。毕竟，世界上有很多爬虫程序，有好有坏。

　　Google 抓取工具

　　算法优秀，响应速度快，对内容质量的把握极佳，爬虫程序中等强度，服务器负担小，推广效果好。

　　对应的user-agent：爬虫名称

　　Googlebot：Google 网络抓取工具

　　Googlebot-news：谷歌新闻抓取工具

　　Googlebot-image：Google 图片抓取工具

　　Googlebot-video：Google 视频抓取工具

　　Googlebot-mobile：Google 移动抓取工具

　　Mediapartners-google 或 Mediapartners(googlebot)：Google 广告抓取工具

　　Adsbot-google：Google 着陆页质量检测抓取工具

　　百度爬虫

　　算法好，响应速度慢，内容质量一般，高强度爬虫程序，由于算法优化不好，服务器负担大，小问题多本身（比如：杜娘又侥幸了），隐私保护较差，在百度面前没有隐私，推广效果不错。 （不过，谁说这是国内搜索引擎的老大）

　　对应的user-agent：爬虫名称

　　Baiduspider：百度网络爬虫和移动爬虫

　　Baiduspider-image：百度图片爬虫

　　Baiduspider-video：百度视频爬虫

　　Baiduspider-news：百度新闻爬虫

　　Baiduspider-favo：百度搜索爬虫

　　Baiduspider-cpro：百度联盟爬虫

　　Baiduspider-ads：百度商业爬虫

　　好搜（即360）攀虫

　　类似百度早期算法，响应速度慢，对内容质量控制不足，爬虫程序强度高，隐私保护和百度一样，需要翻墙的小伙伴一定要避开这个产品。

　　推广效果好。好搜的客服目前给我的印象最好，但我以后不知道了。毕竟流氓是有历史的。

　　对应的user-agent：爬虫名称

　　360spider 或 haosouspider：优秀的搜索网络爬虫和移动爬虫

　　360spider-image：不错的搜索图片爬虫

　　360spider-video：好搜视频爬虫

　　搜狗爬虫

　　算法差，响应速度极慢，内容质量把握不好。高强度的爬虫程序会因为算法的奇怪错误而对页面进行大量的重复和无意义的扫描。这对服务器来说是一个沉重的负担。个人建议本产品直接覆盖，推广效果差！严重的内部点击，个人最讨厌。搜狗本身流量很少，而且收录速度慢，爬虫压力大，整体性价比很低。

　　对应的user-agent：爬虫名称

　　搜狗蜘蛛：搜狗综合爬虫

　　新浪爱问爬虫

　　基本可以作为搜狗爬虫使用，性能较差，建议覆盖，推广效果较差。

　　对应的user-agent：爬虫名称

　　Iaskspider：新浪爱问爬虫

　　有道爬虫

　　也基本可以作为搜狗爬虫使用，性能较差，服务器负担比搜狗略低。建议覆盖，推广效果较差。

　　对应的user-agent：爬虫名称

　　YodaoBot：网易有道爬虫

　　Alexa 爬虫

　　Alexa爬虫，用于检测网站是否在Alexa排名上作弊，如果你不关心Alexa排名，可以覆盖。一般来说，这种无聊的外观很难在一般企业网站上排名。

　　对应的user-agent：爬虫名称

　　ia_archiver：Alexa 爬虫

　　雅虎爬虫

　　算法优秀，响应速度好，高强度爬虫程序有时会从多个ip地址开始抓取。是比较规范的爬虫，推广效果还不错。不过由于雅虎离开大陆，11月11日前后，雅虎关闭站长服务，将数据转移到必应，一般建议覆盖。

　　对应的user-agent：爬虫名称

　　雅虎！ Slurp：雅虎爬虫

　　必应爬虫

　　整体表现还无法判断，但根据近期全球搜索引擎市场份额来看，表现应该接近百度甚至优于百度，国内本土化不足。 Jiuqiu网站从Bing的流量不亚于好搜。

　　对应的user-agent：爬虫名称

　　Bingbot：Bing 爬虫

　　总结：

　　好的，我们大概有这些常见的爬虫程序，其他的基本可以直接屏蔽了。