搜索引擎如何抓取网页(搜索引擎蜘蛛是怎样抓取网站页面的呢？蜘蛛抓取策略问题)

　　搜索引擎如何抓取网页(搜索引擎蜘蛛是怎样抓取网站页面的呢？蜘蛛抓取策略问题)

　　一个网站，要想在网上有好的展示，去掉SEM付费竞价推广，基本上是利用搜索引擎优化规则提高网站关键词的排名，那是我们常见的SEO优化。做过SEO优化的朋友大体都了解蜘蛛爬行的概念，那么搜索引擎蜘蛛是如何爬取网站页面的呢？

　　蜘蛛是如何爬取网页的，首先需要了解蜘蛛的种类有哪些。

　　1.批处理类型蜘蛛。

　　这个蜘蛛基本上每天都会完成固定的目标和抓取任务，比如抓取指定抓取范围内的网页数量，或者网页大小、抓取时间等。

　　2.垂直蜘蛛。

　　该蜘蛛将抓取特定主题或行业。例如，如果是旅游行业的蜘蛛，它只会抓取旅游相关的话题，其他内容不会被抓取。这类蜘蛛的难点在于需要识别内容的行业。目前很多垂直行业网站都是这样做的。有点像蜘蛛爬行。

　　3.增量蜘蛛。

　　与批量蜘蛛不同，这类蜘蛛会持续抓取并定期更新抓取到的页面。增量蜘蛛一般保持这种状态。比如我们常见的快照爬取就是增量蜘蛛。

　　其次，我们可以考虑蜘蛛的爬行策略。

　　爬行策略是一个非常复杂的过程。蜘蛛一般是从主网址爬取，然后展开大量网址。但是这涉及到爬取顺序的问题，一般是由爬取策略决定的。当然，不管是哪种策略，都是对网页进行综合评价，然后根据页面内容、链接权重等方面来计算排名。

　　1.广度优先策略（也称为广度优先策略）。

　　抓取一个网页，然后依次抓取其他页面。这个过程在我们的视觉体验中很简单，就是这个网页上有什么链接，然后不同的点击展开。

　　2.权重价值策略。

　　典型的搜索引擎内值算法，根据不同页面传递的权重值，然后这个值的高低进行爬取。

　　3.大型网站优化策略。

　　一般新网站一开始爬的时间很少，很多大网站，几乎都会收录或者更新后马上更新快照。这就是大网站优先爬取策略。

　　4. 深度优先策略。

　　对于特定站点，深度优化策略会根据站点的主URL，然后沿着链接继续爬取。沿着一条线爬完后，会继续返回首页进行第二次链接的爬取，直到爬取完成。.

　　网页是否更新，蜘蛛如何爬行？做SEO优化的朋友一般都会保持网站的更新，至于为什么要这样做，具体原因可能不清楚。其实，为什么要保持网站更新，主要是因为蜘蛛爬取页面的时候，会按照历史参考策略进行爬取。通俗的理解是，一个网页总是按照一个规则更新，那么搜索引擎会认为这个页面以后也会按照这个规则更新，所以蜘蛛也会按照这个规则爬行。

　　此外，还有基于用户体验的爬取。例如，我们经常搜索一个结果。内容可能不是最新的显示，而是显示在最前面的位置。主要原因是这个页面的价值非常高，可以解决大部分用户的需求；聚类采样爬取策略是根据网页性能的属性对相似页面进行分类，分类后的页面按照相同的规则进行更新。

　　如果蜘蛛遇到正在爬行的内容页面，它会按什么顺序爬行？

　　我们可以使用站长模拟爬取的方式查看。基本的爬取顺序是从上到下，从左到右，最后是一些被JS调用的内容，基本上就是完整的调用了。所以我们在做网页的时候，尽量减少对JS调用的使用，进行优化，把网站的重要内容尽量放在最重要的位置，比如Logo位置，Title，和导航栏位置。