搜索引擎如何抓取网页(搜索引擎面对海量的网页,他们并不是平行的抓取每一个)

　　搜索引擎如何抓取网页(搜索引擎面对海量的网页,他们并不是平行的抓取每一个)

　　搜索引擎面对大量的网页。它们不会并行抓取每个网页，因为无论搜索引擎数据库如何扩展，它们都跟不上网页的增长速度。搜索引擎将首先抓取最重要的网页。一方面，保存数据库一方面对普通用户也有帮助，因为对于用户来说，他们不需要海量的结果，只需要最重要的结果。

　　先分析搜索引擎如何抓取最重要的页面

　　搜索引擎面对大量的网页。他们不会并行抓取每个网页，因为无论搜索引擎数据库如何扩展，他们都跟不上网页的增长速度。搜索引擎将首先抓取最重要的网页。保存数据库对普通用户也有帮助，因为对于用户来说，他们不需要海量的结果，只需要最重要的结果。因此，一个好的采集策略是先采集重要的网页，让最重要的网页在最短的时间内被抓取。

　　那么搜索引擎如何首先抓取最重要的网页呢？

　　通过对海量网页特征的分析，搜索引擎认为重要网页具有以下基本特征。尽管它们可能不完全准确，但大多数情况下都是正确的：

　　1) 一个网页被其他网页链接的特征。如果被多次链接或被重要网页链接，则是非常重要的网页；

　　2) 一个网页的父页面被多次链接或被重要网页链接。例如，一个网页是网站的内页，但是它的首页被链接了很多次，首页也被链接了，如果这个页面被贴出来，说明这个页面也更重要；

　　3) 网页内容已被广泛转载和传播。