搜索引擎如何抓取网页(SEO顾问潇湘驭文：衡量网页重要性的标准是什么)

　　搜索引擎如何抓取网页(SEO顾问潇湘驭文：衡量网页重要性的标准是什么)

　　【导读】无论是全球最大的搜索引擎谷歌，还是全球最大的中文搜索引擎百度，这些搜索引擎的带宽资源和硬盘资源都是有限的。但是互联网的资源是无限膨胀的。每天都有无数的新网页被添加。搜索引擎无法抓取所有网页。他们只能先抓取更重要的网页，仅此而已。这就是今天SEO顾问小翔宇文要讲的网页抓取优先策略。

　　这个世界上有一种理想主义：*敏*感*词*。在这个理想社会中，没有等级制度，人人平等，一切按需要分配。然而，这简直是不现实的。只有层次的存在，人类才有进步的空间。

　　互联网世界也是如此，每个网站都有一个等级。这个级别在搜索引擎眼中称为权重。网站 高权重可以获得更高的排名和更多的搜索引擎收录；网站 权重低的正好相反。万不得已，搜索引擎制定了网络爬取优先策略——越重要的网页越优先被爬取。那么衡量网页重要性的标准是什么呢？SEO顾问小翔宇文认为，主要有两个标准。

　　衡量网页重要性的两个标准

　　1、 链接流行度。

　　一个网页是否受欢迎，可以从该网页获得的外部链接的质量和数量来判断。外部链接的数量越多，网页的质量就被认为越重要。此类网页必须首先被搜索引擎抓取。只要网页的外部链接不是作弊的结果，这些网页就意味着可以满足搜索网友的搜索需求。

　　2、 链接重要性。

　　链接的重要性检查 URL 站点本身。例如，人们普遍认为.gov 域名比.com 更重要。此外，URL 中收录的斜杠越少，通常被认为越重要。因为斜线越少，网址越接近首页，被搜索引擎发现和抓取的概率就越高。这和搜索引擎的广度优先遍历原则不谋而合，一模一样。

　　以上是SEO顾问小翔宇文对搜索引擎网页抓取优先策略的看法。欢迎批评和指正。