搜索引擎如何抓取网页(搜索引擎如何首先抓取最重要的网页?(图))

　　搜索引擎如何抓取网页(搜索引擎如何首先抓取最重要的网页?(图))

　　首先分析搜索引擎如何抓取最重要的网页。面对海量网页，他们不会并行抓取每个网页，因为无论搜索引擎数据库如何扩展，他们都跟不上网页的增长速度。最重要的网页将首先被抓取。一方面保存了数据库，另一方面对普通用户也有帮助，因为对于用户来说，他们不需要大量的结果，只需要最重要的结果。因此，一个好的采集策略是先采集重要的网页，这样最重要的网页才能在最短的时间内被抓取到。那么搜索引擎如何首先抓取最重要的网页呢？通过分析大量网页的特点，搜索引擎认为，重要网页具有以下基本特征，虽然不一定完全准确，但大部分情况下确实如此： 网页链接的特征，如果被多次链接或被重要网页链接，是一个非常重要的网页；一个网页的父网页被多次链接或者被重要网页链接，比如一个网页是网站的内页，但是它的首页被多次链接，首页page也链接到这个页面，也就是说这个页面也比较重要；页面目录深度小，便于用户浏览。这里的“URL目录深度”定义为：网页URL除域名部分外的目录级别，即如果URL是 ，那么目录深度是 如果是，目录深度是第二个，依此类推。需要注意的是，URL目录深度小的网页并不总是重要的，目录深度大的网页也并非都是不重要的。一些学术论文的网页 URL 具有非常长的目录深度。

　　大多数具有高重要性的网页将同时具有上述所有特征。5)先采集网站首页，给首页分配高权重。网站的数量远小于网页的数量，重要的网页必然会从这些网站主页链接，所以采集工作应优先获取尽可能多的网站尽可能第一个问题当搜索引擎开始抓取网页时，它可能不知道被链接或转载的网页的状态。也就是说，一开始，他无法知道前三项的特性。在获得网页或几乎任何网络链接结构之前，您无法知道。那么如何解决这个问题呢？也就是特征4是可以判断一个URL是否满足“ URL 的初始权重设置为固定值。字符“/”和“?” 出现在网址中。URL 是参数的形式。它需要通过请求的程序服务获取网页，而不是搜索引擎系统关注的静态网页。因此，权重相应减少。

　　收录“search”、“proxy”或“gate”表示该网页最有可能是搜索引擎检索到的结果页面，即代理页面，因此应降低权重）。选择未访问 URL 的策略。因为权重小并不一定代表不重要，所以要给一定的机会去采集权重小的未访问的URL。选择未访问URL的策略可以采用轮询的方式，根据权重选择一个，随机选择一个，或者随机选择一个。搜索引擎在爬取大量网页时，进入了解读网页前三个特征的阶段，然后通过大量算法判断网页质量，然后给出相对排名.