搜索引擎如何抓取网页( 分析搜索引擎如何首先抓取最重要的网页(图))

　　搜索引擎如何抓取网页(

分析搜索引擎如何首先抓取最重要的网页(图))

　　【小学】先分析搜索引擎如何抓取最重要的网页 先分析搜索引擎如何抓取最重要的网页。搜索引擎面对大量的网页~他们不会并行抓取每个网页~因为无论搜索引擎数据库是什么 展开~跟不上网页的增长速度~搜索引擎会先抓取最重要的网页~一方面保存数据库——另一方面对普通用户也有帮助~因为~对用户来说——他们不需要海量结果~只需要最重要的结果，所以好采集策略是先采集重要的网页~这样最重要的网页可以在最短的时间内被抓取。那么搜索引擎如何先抓取最重要的网页呢？通过对大量网页特征的分析——被搜索引擎认为重要的网页具有以下基本特征——虽然可能不完全准确——但大多数情况下确实如此。1 一个网页被其他网页链接的特征——如果链接很多 或者被重要的网页链接~ 是非常重要的网页 2 一个网页的父网页被链接多次或被某个网页链接重要的网页~比如一个网页是网站的内页，但是它的首页已经链接了很多次了~而且首页也链接到了这个网页~说明这个网页也很重要。3、转载、传播网页内容。4 网页目录深度小。用户在这里浏览很方便。将 URL 目录深度定义为网页 URL。排除域名部分的目录级别~即URL为~则目录深度为0，如果为~则目录深度为1~一次，以此类推。需要注意的是~URL目录深度小的网页并不总是重要的~目录深度大的网页也并非都是不重要的~一些学术论文的网页URL的目录深度很长。大多数重要的网页都会同时具备以上 4 个功能。网站的数量远小于网页的数量~重要的网页一定来自这些网站主页链接~所以采集工作要优先获取尽可能多的网站主页尽可能，问题出现了。～当搜索引擎开始抓取网页时～可能都不知道网页是如何链接的

　　不知道被转载的状态~换句话说~一开始他不知道前3项的特点~这些因素只有得到网页或者几乎所有的网页链接结构后才能知道。那么如何解决这个问题呢？也就是特征4和特征5在爬行的时候就可以知道了~只有特征4是不需要知道网页的内容就可以判断一个网址是否符合重要标准~以及网页网址目录的深度计算就是对字符串的处理~统计结果显示一般的URL长度都在256个字符以内~这样可以方便判断URL目录的深度，所以对于采集策略的确定~特征4和5是最值得考虑的引导因素但是~特征4和5有局限性~因为链接的深度没有完全表明这个页面的重要性，如何解决这个问题问题搜索引擎采用以下方法： 1 URL权重设置是根据URL目录的深度~深度是多少~权重减少多少。最小重量为零。2 将 URL 的初始权重设置为固定值。3 如果一个字符出*敏*感*词*流量表的编制方法、数列求和、一次性的七种方法。按权重排序~搜索引擎抓取大量网页时随机选择一次或随机选择N次~然后进入一个阶段~解读网页的前3个特征~然后通过大量算法判断网页质量~再给相对排名