Bytespider（今日头条）Adsbot（访问广告链接）

Bytespider（今日头条）Adsbot（访问广告链接）

　　AhrefsBot：

　　AhrefsBot 是一种网络爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它会不断地抓取网络，用新链接填充我们的数据库，并检查以前找到的数据的状态，以便为我们的用户提供最全面和最新的数据。

　　Googlebot

　　谷歌的网络爬虫机器人，类似于中国的Baiduspider（百度蜘蛛）Googlebot和Mediapartners-Google，都是非常勤奋的机器人。如果它们影响您服务器的续航能力，您可以通过 robots.txt 文件停止它们。

　　一搜蜘蛛

　　神马搜索根据网站的规模、服务能力、页面质量、更新速度等因素来决定网站的访问频率。通常更新快、质量高的网站Yisouspider，访问频率相对较高。如果您发现Yisouspider异常抓取您的网站，请反馈给神马搜索，并尽量提供Yisouspider的访问日志以便跟踪处理。

　　SemrushBot（类似于 AhrefsBot）

　　SemrushBot 是 SEMrush 的服务器搜索蜘蛛。但是，很多公司都在日志中看到过这种 SemrushBot 蜘蛛。中国人选择直接屏蔽。 SEMrush 是一个强大而全面的在线营销竞争情报平台，包括 SEO、PPC、社交媒体和视频广告研究。

　　BLEXBot（类似百度词条）

　　BLEXBot是都市词典的蜘蛛，网站专门供网友发布一些特殊词或词组的解释。

　　百度蜘蛛（不用解释，大家都知道）

　　百度蜘蛛是百度搜索引擎的自动程序。它的功能是访问和采集互联网上的网页、图片、视频等内容，然后根据类别建立索引数据库，以便用户在百度搜索引擎。

　　Bytespider（今日头条）Adsbot（访问广告链接）

　　为用户和广告主提供优质的广告服务是我们的重要目标。为此，我们改进了审核和衡量着陆页质量的方式。 AdWords 系统会检索广告客户的目标网页，以便我们更好地从整体上掌握 AdWords 广告的相关性和质量。

　　DotBot（属于 moz）

　　Moz 是一家来自美国的软件开发公司，由 Rand Fishkin 和 Gillian Muessig 于 2004 年创立，现在总部位于华盛顿州西雅图。起初，这家公司是一家咨询公司。 2010年转型为软件开发公司。其官方网站有一个在线社区和一些与营销相关的工具。此外，SEO 工具箱的这个页面上还有很多 SEO 工具，包括 Term Extractor。

　　bingbot

　　Bingbot 是一种由 Microsoft 部署以提供 Bing 的网络爬行机器人（一种 Internet 机器人）。它从 Internet 采集文档以构建可搜索的 Bing 索引。

　　360Spider（360公司，很懒的爬虫）YandexBot（*敏*感*词*引擎爬虫）

　　以上是比较常见的搜索引擎机器人。当然，如果网站只需要国内流量，屏蔽国外搜索引擎机器人就行了。

　　文章属于：Monkey Game Programming原创

　　转载请注明标题：*敏*感*词*搜索引擎简介-猴子科技之家