搜索引擎如何抓取网页(什么是蜘蛛，也叫爬虫，实在是一段程序。)

　　搜索引擎如何抓取网页(什么是蜘蛛，也叫爬虫，实在是一段程序。)

　　什么是蜘蛛，也叫爬虫，其实就是一个程序。这个程序的作用就是沿着你的网站 URL逐层读取一些信息，做简单的处理，然后发回给后端boss（服务器）集中处理。一定要了解蜘蛛的喜好，优化网站才能做得更好。接下来我们说说蜘蛛的工作过程。

　　一、蜘蛛的麻烦

　　蜘蛛也能遇到麻烦？是的，做人难，做蜘蛛难做蜘蛛！处理动态网页信息一直是网络蜘蛛的一项艰巨任务。所谓动态网页，是指程序自动生成的页面。由于开发语言的不断增多，开发了越来越多的动态网页类型，如asp、jsp、php等。这些类型的网页是非编译的、直接解释的语言。比如我们的IE就是一个强大的解释器；对于网络蜘蛛来说，处理这些语言可能会稍微容易一些。网络蜘蛛对于某些脚本语言（如VBscript和Javascript）生成的网页的处理真的很困难。这也是我们反复强调在做网站优化时尽量不要使用JS代码的原因，因为如果我们需要处理好这些网页，网络蜘蛛需要有自己的脚本解释器。整个蜘蛛系统一般采用插件的形式。通过插件管理服务程序，不同格式的网页由不同的插件处理。而加载这些脚本程序来处理页面无疑会增加蜘蛛程序的复杂度。换句话说，调用这些插件对蜘蛛来说时间太宝贵了。所以，作为一个SEOer，要做的任务之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬行！因为如果我们需要处理好这些网页，网络蜘蛛需要有自己的脚本解释器。整个蜘蛛系统一般采用插件的形式。通过插件管理服务程序，不同格式的网页由不同的插件处理。而加载这些脚本程序来处理页面无疑会增加蜘蛛程序的复杂度。换句话说，调用这些插件对蜘蛛来说时间太宝贵了。所以，作为一个SEOer，要做的任务之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬行！因为如果我们需要处理好这些网页，网络蜘蛛需要有自己的脚本解释器。整个蜘蛛系统一般采用插件的形式。通过插件管理服务程序，不同格式的网页由不同的插件处理。而加载这些脚本程序来处理页面无疑会增加蜘蛛程序的复杂度。换句话说，调用这些插件对蜘蛛来说时间太宝贵了。所以，作为一个SEOer，要做的任务之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬行！不同格式的网页由不同的插件处理。而加载这些脚本程序来处理页面无疑会增加蜘蛛程序的复杂度。换句话说，调用这些插件对蜘蛛来说时间太宝贵了。所以，作为一个SEOer，要做的任务之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬行！不同格式的网页由不同的插件处理。而加载这些脚本程序来处理页面无疑会增加蜘蛛程序的复杂度。换句话说，调用这些插件对蜘蛛来说时间太宝贵了。所以，作为一个SEOer，要做的任务之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬行！

　　二、 Spider 的更新周期

　　世界总是动态的，也就是说，它是不断变化的；当然，网站 的内容也经常变化，要么更新，要么改变模板。智能爬虫还需要不断更新其爬取的网页内容，也称为更新网页快照。因此，蜘蛛开发者会为爬虫设置一个更新周期（即使这是由动态算法决定的，也就是我们常说的算法更新），让它在指定时间扫描网站，检查比较哪个需要更新的页面，比如首页的标题是否发生了变化，哪些页面是新的网站页面，哪些页面是已经过期的死链接等等。强大搜索引擎的更新周期不断优化，因为搜索引擎的更新周期对搜索引擎的搜索召回率影响很大。但是，如果更新周期过长，会降低搜索引擎的搜索准确性和完整性，部分新生成的网页将无法搜索到；更新周期太短，技术实现难度大，影响带宽。，服务器的资源造成了奢侈品。因此，灵活的搜索引擎更新周期非常重要。更新周期是搜索引擎永恒的话题；也是程序员和SEO们不断研究的课题。并且一些新生成的网页将无法搜索；更新周期太短，技术实现难度大，影响带宽。，服务器的资源造成了奢侈品。因此，灵活的搜索引擎更新周期非常重要。更新周期是搜索引擎永恒的话题；也是程序员和SEO们不断研究的课题。并且一些新生成的网页将无法搜索；更新周期太短，技术实现难度大，影响带宽。，服务器的资源造成了奢侈品。因此，灵活的搜索引擎更新周期非常重要。更新周期是搜索引擎永恒的话题；也是程序员和SEO们不断研究的课题。

　　三、 Spider 的爬取策略

　　上面我们介绍了蜘蛛怕什么和更新周期这两个话题。现在我们进入关键主题：爬取策略。交换链接

　　1.逐层抓取策略

　　搜索引擎通过WEB爬虫采集网页。这个过程是一个算法。具体可以参考graph和tree这两种数据结构。我们知道一个网站只有一个主页，这是蜘蛛爬行开始爬行的地方。从第一个首页获取该站点的页面，然后提取主页面中的所有链接（即内部链接），然后根据新链接获取新页面并提取新页面中的链接，重复此过程直到整个站点的叶子节点（即每一列下体面的列的内容页面）就是爬虫采集页面的过程。因为很多网站的信息量太大，用这种方式爬取需要很长时间。因此，网站页面的获取是在一个大方向上抓取的。例如，只有两层采用了逐层爬取策略。可以避免信息抽取中的“陷阱”，使得WEB爬虫的效率过低。因此，目前网络爬虫在爬取中使用的遍历算法主要是图论中的广度优先算法和最佳优先算法，深度优先算法由于容易造成提取的“陷阱”，很少使用。 .

　　2、无重复爬取策略

　　万维网上的网页数量非常多，因此抓取它们是一项庞大的工程。网页的抓取需要大量的线路带宽、硬件资源、时间资源等。如果交换链接频繁重复抓取同一个网页，不仅会大大降低系统的效率，还会造成准确率低等问题。常见的搜索引擎系统都设计了不重复抓取网页的策略，即保证同一网页在一定时间内只被抓取一次。

　　B-tree 学名：平衡多路搜索树，该原理广泛应用于操作系统的算法中。B树搜索算法也可以用来设计一种不重复爬取搜索引擎中的URL的匹配算法（即比较）。

　　以上文字、流程、方法均来自广州SEO中心（官网：搜索引擎优化xoyo），转载请注明或保存此段文字。

　　SEO职场体验第三季：犀利犀利

　　内衣肩带适合你的肩型吗？

　　网站构建好优化捷径更容易赢得成功