网页qq抓取什么原理( 爬虫通用爬虫技术框架爬虫系统的诞生蜘蛛爬虫系统)

　　网页qq抓取什么原理(

爬虫通用爬虫技术框架爬虫系统的诞生蜘蛛爬虫系统)

　　全程干货| 爬虫技术原理入门，看这篇文章就知道了

　　爬虫系统的诞生

　　蜘蛛爬行器

　　一般搜索引擎的处理对象是互联网网页。目前互联网网页的数量已达到数百亿。因此，搜索引擎面临的第一个问题就是如何设计一个高效的下载系统，将如此大量的网页数据传输到本地。在本地形成互联网网页的镜像备份。

　　网络爬虫可以发挥这样的作用来完成这项艰巨的任务。它是搜索引擎系统中非常关键和基本的组成部分。本文主要介绍与网络爬虫相关的技术。虽然爬虫经过几十年的发展，整体框架已经比较成熟，但是随着互联网的不断发展，它们也面临着一些新的挑战。

　　通用爬虫技术框架

　　爬虫系统首先从互联网页面中仔细选择一部分网页，将这些网页的链接地址作为*敏*感*词*URL，将这些*敏*感*词*放入URL队列中进行爬取。爬虫依次从待爬取的URL队列中读取，通过DNS Resolve传递URL，将链接地址转换为网站服务器对应的IP地址。然后把它和网页的相对路径名交给网页下载器，网页下载器负责页面的下载。对于本地下载的网页，一方面将其存储在页面库中，等待索引等后续处理；另一方面，将下载网页的URL放入抓取队列，记录爬虫系统已下载。网页网址，避免系统重复抓取。对于新下载的网页，提取其中收录的所有链接信息，并在下载的URL队列中查看。如果发现该链接没有被抓取，则将其放在待抓取的URL队列的末尾。在抓取计划期间将下载与此 URL 对应的网页。这样就形成了一个循环，直到待爬取的URL队列为空，表示爬虫系统能够爬取的所有网页都已经爬取完毕，一个完整的爬取过程到此结束。时间。它将被放置在要抓取的 URL 队列的末尾。在抓取计划期间将下载与此 URL 对应的网页。这样就形成了一个循环，直到待爬取的URL队列为空，表示爬虫系统能够爬取的所有网页都已经爬取完毕，一个完整的爬取过程到此结束。时间。它将被放置在要抓取的 URL 队列的末尾。在抓取计划期间将下载与此 URL 对应的网页。这样就形成了一个循环，直到待爬取的URL队列为空，表示爬虫系统能够爬取的所有网页都已经爬取完毕，一个完整的爬取过程到此结束。时间。

　　通用爬虫架构

　　以上就是一个通用爬虫的整体流程。如果从更宏观的角度考虑，动态抓取过程中的爬虫与互联网上所有网页的关系可以概括为以下五个部分：

　　已下载网页组合：爬虫已从互联网下载到本地索引的网页集合。

　　过期网页组合：由于网页数量较多，爬虫爬完一轮需要很长时间。在爬取过程中，很多下载的网页可能已经更新，导致过期。这是因为互联网网页处于不断动态变化的过程中，所以很容易产生本地网页内容与真实互联网的不一致。

　　待下载网页集合：URL队列中待抓取的网页，这些网页即将被爬虫下载。

　　已知网页集合：这些网页没有被爬虫下载，也没有出现在待抓取的URL队列中。通过已经爬取过的网页或者待爬取的URL队列中的网页，总能通过链接关系找到。稍后它将被爬虫抓取和索引。

　　未知网页集合：部分网页无法被爬虫抓取，这部分网页构成了未知网页的组合。事实上，这部分网页所占的比例很高。

　　网页划分

　　从理解爬虫的角度，以上对网页的划分有助于理解搜索引擎爬虫所面临的主要任务和挑战。大多数爬虫系统都遵循上述流程，但并非所有爬虫系统都如此一致。根据不同的具体应用，爬虫系统在很多方面都有所不同。一般来说，爬虫系统可以分为以下三种类型。

　　批量爬虫：批量爬虫有比较明确的爬取范围和目标。当爬虫到达设定的目标时，它停止爬虫过程。至于具体的目标，可能不一样，可能是设置抓取一定数量的网页，也可能是设置抓取时间等等，都是不同的。

　　增量爬虫：增量爬虫不同于批量爬虫。它将保持连续爬行。爬取的网页必须定期更新，因为互联网网页在不断变化，新的网页、网页被删除或网页内容的变化非常普遍，增量爬虫需要及时反映这些变化，所以它们在不断的爬取中过程，要么抓取新页面，要么更新现有页面。常见的商业搜索引擎爬虫基本都是这种类型。

　　垂直爬虫：垂直爬虫专注于特定主题内容或属于特定行业的网页。例如，对于健康网站，您只需要从互联网页面中查找与健康相关的页面内容。其他行业的内容不可用。考虑范围。垂直爬虫最大的特点和难点之一是如何识别网页内容是否属于指定的行业或主题。从节省系统资源的角度考虑，下载后无法过滤所有网页，会造成资源的过度浪费。爬虫往往需要在爬取阶段动态识别某个网址是否与主题相关，尽量不去爬取不相关的页面，以达到节约资源的目的。垂直搜索 <

　　优秀爬虫的特点

　　对于不同的应用，好的爬虫的特点是不同的，但实用的爬虫应该具备以下特点。

　　01高性能

　　Internet 上的网页数量庞大。因此，爬虫的性能非常重要。这里的性能主要是指爬虫下载网页的爬行速度。常见的评估方法是以爬虫每秒可以下载的网页数量作为性能指标。单位时间内可以下载的网页越多，爬虫的性能就越高。

　　为了提高爬虫的性能，程序访问磁盘的操作方法和具体实现时数据结构的选择是很关键的。比如对于待爬取的URL队列和已经爬取过的URL队列，由于URL的数量非常多，不同实现方式的性能差异很大，所以高效的数据结构对爬虫的影响很大表现。

　　02可扩展性

　　即使单个爬虫的性能非常高，下载到本地所有网页仍然需要很长时间。为了尽可能缩短爬虫周期，爬虫系统应该具有良好的可扩展性，即很容易增加Grab的服务器和爬虫数量来达到这个目的。

　　目前可用的大型网络爬虫必须以分布式方式运行，即多台服务器专用于爬取，每台服务器部署多个爬虫，每个爬虫多线程运行，以多种方式增加并发。对于大型搜索引擎服务商来说，可能需要在全球、不同地区部署数据中心，并且爬虫也被分配到不同的数据中心，这对于提升爬虫系统的整体性能非常有帮助。

　　03 稳健性

　　爬虫要访问各种类型的网站服务器，可能会遇到很多异常情况，比如网页HTML编码不规范，被爬取的服务器突然崩溃，甚至爬虫陷阱。爬虫能够正确处理各种异常情况非常重要，否则可能会时不时停止工作，难以忍受。

　　从另一个角度来看，假设爬虫程序在爬取过程中死亡，或者爬虫所在的服务器宕机了，一个健壮的爬虫应该是可以做到的。当爬虫再次启动时，可以恢复之前爬取的内容和数据结构。不必每次都从头开始做所有的工作，这也是爬虫健壮性的体现。

　　04友善

　　爬虫的友好有两层意思：一是保护网站的部分隐私，二是减少被爬取的网站的网络负载。爬虫爬取的对象是各种类型的网站。对于网站的拥有者来说，有些内容不想被大家搜索到，所以需要设置一个协议来通知爬虫哪些内容是不允许爬取的。目前实现这一目标的主流方法有两种：爬虫禁止协议和网页禁止标记。

　　禁止爬取协议是指网站的所有者生成的一个指定文件robot.txt，放置在网站服务器的根目录下。该文件指定了网站中哪些目录不允许爬虫爬取以下网页。一个友好的爬虫在爬取网站网页之前必须先读取robot.txt文件，不会下载禁止爬取的网页。

　　网页禁止标记一般加在网页metaimage-package的HTML代码中">

　　索引页和互联网页的比较

　　抓取到的本地网页很可能发生了变化，或者被删除，或者内容发生了变化。因为爬虫需要很长时间才能完成一轮爬取，所以爬取到的部分网页肯定是过时的。网页改变后，数据无法立即反映到网页库中。因此，网页库中的过时数据越少，网页的新鲜度就越好，这对提升用户体验大有裨益。如果当前性不好，搜索到的数据全部过时，或者网页被删除，用户的内心感受可想而知。

　　虽然互联网上有很多网页，但每个网页都大不相同。例如，腾讯和网易新闻的网页与作弊网页一样重要。如果搜索引擎抓取的大部分网页都是比较重要的网页，说明他们在抓取网页的重要性方面做得不错。在这方面做得越好，搜索引擎的搜索准确性就越高。

　　通过以上三个标准的解释和分析，爬虫研发的目标可以简单描述如下： 在资源有限的情况下，由于搜索引擎只能抓取互联网上现有网页的一部分，那么尽量选择更重要的部分进行页面索引；对已爬取的网页，尽快更新内容，使索引页面的内容与互联网上对应的页面同步更新；在此基础上，尽可能扩大爬取范围，爬取更多之前找不到的页面。三个“尽可能”基本明确了爬虫系统提升用户体验的目标。

　　为了满足这三个质量标准，大多数大型商业搜索引擎都开发了一些针对性很强的爬虫系统。以Google为例，它至少收录两种不同的爬虫系统，一种叫做Fresh Bot，主要考虑网页的新鲜度。对于内容更新频繁的网页，目前可以达到秒级的更新周期；另一套被称为Deep Crawl Bot，主要用于抓取更新不那么频繁的网页，更新周期为天。此外，谷歌还投入了大量精力开发暗网抓取系统。后续有时间对暗网系统进行讲解。

　　谷歌的两个爬虫系统

　　如果你对爬虫感兴趣，还可以阅读：

　　全程干货 | 解密爬虫爬取更新网页的策略和方法

　　网络爬虫 | 你不知道的暗网是如何爬行的？

　　网络爬虫 | 你知道分布式爬虫是如何工作的吗？