大型搜索引擎的Spider一般会使用什么样的策略？

　　大型搜索引擎的Spider一般会使用什么样的策略？

　　2.1Spider

　　蜘蛛通常也被称为爬虫、蜘蛛或机器人。它是整个搜索引擎顶部的一个模块。只有被 Spider 检索到的页面或 URL 才会被索引和排名。需要说明的是，只要是Spider抓取的URL，都可以参与排名，但参与排名的网页不一定会被Spider抓取。比如网站屏蔽搜索引擎Spider后，Spider虽然无法抓取Fetch网页内容，但是也会有一些域名级别的URL参与搜索引擎排名（比如天猫上很多拥有独立域名的店铺） ）。根据搜索引擎的类型不同，Spider 也会有不同的分类。大型搜索引擎的蜘蛛一般有以下需要解决的问题，这些问题也与SEO密切相关。

　　首先，Spider 想要抓取网页。它必须找到网页抓取入口。如果没有爬行入口，就没有办法继续工作。所以我们必须先给Spider一些网页入口，然后Spider会沿着这些入口爬行。这里是爬取策略的问题。爬取策略的选择，将直接影响到蜘蛛所需要的资源，蜘蛛爬取的网页占整个网页的比例，以及蜘蛛的工作效率。那么Spider一般采用什么策略来抓取网页呢？

　　其次，网页内容也是有时间敏感性的，所以Spider对不同网页的抓取频率也必须有策略，否则索引库中的内容可能很旧，或者更新的内容可能没有更新。不应该更新的更新是资源的浪费，甚至网页被删除了，但该页面仍然存在于搜索结果中。那么Spider一般采用什么样的重新爬取和更新策略呢？

　　再次说明，互联网上总有一些网页没有外链就直接导入，也就是常说的“暗网”，而这部分网页也需要呈现给广大网友浏览暗网上的网页被抓取。百度目前如何解决这个暗网问题？

　　最后，大型搜索引擎不能只有一个蜘蛛。为了节省资源，需要保证多个蜘蛛同时工作，不重复抓取页面；并且由于数据中心分布在各个地区，搜索引擎一般不使用蜘蛛服务器。放置在一个区域，多个区域将同时工作。这两个方面涉及到分布式爬取的策略。那么一般搜索引擎的蜘蛛会采用什么样的分布式爬取策略呢？

　　接下来，我将一一介绍一般搜索引擎Spider在面对上述问题时使用了哪些策略，并详细了解了整个搜索引擎顶部的Spider是如何工作的，一个优秀的Spider程序应该具备什么样的有特点。 CuFzhOe03Ij2eLyVjd/Vcx2Oqnv0sKs8oBBmD5KM9bbVzT2RqUnEdXjdUXJ0NRm/