搜索引擎如何抓取网页(什么是蜘蛛，也叫爬虫，做蜘蛛的麻烦！)

　　搜索引擎如何抓取网页(什么是蜘蛛，也叫爬虫，做蜘蛛的麻烦！)

　　什么是爬虫，也叫爬虫，其实就是一个程序。这个程序的作用是沿着你的网站的URL逐层读取一些信息，做简单的处理，然后返回给后台boss（服务器）集中处理。

　　我们必须了解蜘蛛的偏好并优化 网站 才能做得更好。接下来我们说说蜘蛛的工作过程。

　　一、 蜘蛛的问题

　　蜘蛛也会有麻烦吗？是的，做人有困难，做蜘蛛也有困难！处理动态网页信息一直是网络蜘蛛面临的难题。所谓动态网页是指程序自动生成的页面。由于开发语言越来越多，开发出的动态网页类型也越来越多，如asp、jsp、php等。这些类型的网页都是未编译的，直接解释的语言，比如我们的IE就是一个强大的解释器；网络蜘蛛处理这些语言可能会稍微容易一些。对于一些脚本语言（如VBScript和JavaScript）生成的网页，网络蜘蛛真的很难处理。对于这些页面，网络蜘蛛需要有自己的脚本解释器。整个蜘蛛系统一般采用插件的形式，通过插件管理服务程序，使用不同的插件来处理不同格式的网页。加载这些脚本程序来处理页面无疑会增加蜘蛛程序的时间复杂度。换句话说，调用这些插件是在浪费蜘蛛的宝贵时间。所以，作为一个SEOer，要做的工作之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬取！调用这些插件是在浪费蜘蛛的宝贵时间。所以，作为一个SEOer，要做的工作之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬取！调用这些插件是在浪费蜘蛛的宝贵时间。所以，作为一个SEOer，要做的工作之一就是优化网站，减少不必要的脚本代码，方便蜘蛛爬取！

　　二、蜘蛛的更新周期

　　世界总是动态的，也就是说，它是不断变化的；当然，网站 的内容也会经常变化，无论是更新还是更改模板。智能爬虫还需要不断更新其爬取的网页内容，也称为更新网页快照。因此，蜘蛛的开发者会给爬虫设置一个更新周期（甚至这是由动态算法决定的，也就是我们常说的算法更新），让它按照指定的时间扫描网站， check 比较哪些页面需要更新，比如：首页的标题是否发生了变化，哪些页面是网站新页面，哪些页面是过期的死链接等等。强大搜索引擎的更新周期不断优化，因为搜索引擎的更新周期对搜索引擎搜索的召回率影响很大。但是如果更新周期过长，会降低搜索引擎的搜索准确性和完整性，一些新生成的网页将无法搜索到；如果更新周期太短，技术实现会比较困难，带宽也会减少。，服务器资源被浪费了。因此，灵活的搜索引擎的更新周期还是很重要的。更新周期是搜索引擎永恒的话题；这也是程序员和 SEO 继续研究的话题。并且一些新生成的网页将无法搜索；如果更新周期太短，技术实现会比较困难，带宽也会减少。，服务器资源被浪费了。因此，灵活的搜索引擎的更新周期还是很重要的。更新周期是搜索引擎永恒的话题；这也是程序员和 SEO 继续研究的话题。并且一些新生成的网页将无法搜索；如果更新周期太短，技术实现会比较困难，带宽也会减少。，服务器资源被浪费了。因此，灵活的搜索引擎的更新周期还是很重要的。更新周期是搜索引擎永恒的话题；这也是程序员和 SEO 继续研究的话题。

　　三、蜘蛛的爬取策略

　　上面我们介绍了蜘蛛害怕什么和更新周期这两个话题，现在我们进入关键话题：爬取策略。

　　1.逐层抓取策略

　　搜索引擎通过 WEB 爬虫采集网页。这个过程是一个算法。具体可以参考graph和tree这两种数据结构。我们知道一个站点只有一个主页，这就是蜘蛛爬虫开始爬取的地方。从第一个主页获取站点的页面，然后提取主页中的所有链接（即内部链接），然后根据新链接获取新页面并提取新页面中的链接，重复这个过程直到整个站点都是叶子节点（即每列下的子列的内容页面），就是爬虫进行页面采集的过程。因为很多网站的信息量太大，这种方式爬取的时间会很长，所以网站页面的获取是按照大方向一层层爬取的。例如，只有两层采用了逐层爬取的策略，所以可以避免信息抽取的“陷入”，使得WEB爬虫的效率过低。因此，目前WEB爬虫在爬取中使用的遍历算法主要是图论中的广度优先算法和最佳优先算法，而深度优先算法由于在提取中容易造成“下沉”而使用较少。

　　2、不重复爬取策略

　　万维网上的网页数量非常多，因此抓取它们是一个巨大的工程，而抓取网页需要大量的线路带宽、硬件资源、时间资源等等。频繁爬取同一个网页，不仅会大大降低系统的效率，还会造成准确率低等问题。常见的搜索引擎系统设计了网页不重复爬取的策略，即保证同一网页在一定时间内只被爬取一次。

　　B-tree 学名：Balanced multi-way search tree，这个原理在操作系统算法中被广泛使用。B树搜索算法也可以用来设计一种匹配算法（即比较），在搜索引擎中不重复爬取URL。