Python网路爬虫入门：通爬和聚焦爬

　　一、爬虫的简单理解1. 什么是爬虫？

　　网络爬虫也叫网路蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过恳求url地址，根据响应的内容进行解析采集数据， 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。

　　2. 爬虫有哪些作用？

　　通过有效的爬虫手段批量采集数据，可以减少人工成本，提高有效数据量，给予营运/销售的数据支撑，加快产品发展。

　　3. 爬虫业界的情况

　　目前互联网产品竞争激烈，业界大部分就会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据剖析，这是必备手段，并且好多公司都筹建了爬虫工程师的岗位。

　　4. 合法性

　　爬虫是借助程序进行批量爬取网页上的公开信息，也就是后端显示的数据信息。因为信息是完全公开的，所以是合法的。其实如同浏览器一样，浏览器解析响应内容并渲染为页面，而爬虫解析响应内容采集想要的数据进行储存。

　　5. 反爬虫

　　爬虫很难完全的劝阻，道高一尺魔高一丈，这是一场没有烽烟的战争，码农VS码农

　　反爬虫一些手段：

　　合法测量：请求校准(useragent，referer，接口加签名，等)

　　小黑屋：IP/用户限制恳求频度，或者直接拦截

　　投毒：反爬虫高境界可以不用拦截，拦截是一时的，投毒返回虚假数据，可以欺骗竞品决策

　　二、通用爬虫

　　根据让场景，络爬可分为 通爬 和 聚焦爬 两种.。

　　1、通爬

　　通络爬是捜索引擎（Baidu、Google、Yahoo）抓取系统的重要组成部份。主要的是将互联上的下载到本地，形成个互联内容的镜像备份。

　　络爬的基本作流程如下：

　　先选定部份精选购的种URL；将这种 URL 放待抓取 URL 队列；从待抓取 URL 队列中取出待抓取在 URL，解析 DNS，并且得到主机的 ip，并将 URL 对应的下载出来，存储进已下载库中。此外，将 这些 URL 放进已抓取 URL 队列。分析已抓取 URL 队列中的 URL，分析其中的其他 URL，并且将 URL放 待抓取 URL 队列，从进下个循环....

　　

　　2、通搜索引擎（Search Engine）作原理

　　随着络的迅速发展，万维成为量信息的载体，如何有效地提取并利这种信息成为个巨的挑战，通常户会通过搜索引擎（Yahoo，Google，百度等），来作为访问万维的。

　　 通络爬 是搜索引擎系统短发重要的组成部分，它负责从互联中采集，采集信息，这些信息于为搜索引擎建索引从提供持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的好坏直接影响着搜索引擎的疗效。

　　

　　第步：抓取

　　搜索引擎通过种有特定规律的软件，来跟踪的链接，从个链接爬到另外个链接，像蜘蛛在蜘蛛上爬样，所以被称为“蜘蛛”也被称为“机器”。

　　但是搜索引擎蜘蛛的爬是被输了定的规则的，它须要遵照些命令或件的内容。

　　Robots 协议（也称为爬合同、机器合同等）的全称是“络爬排除标准”（Robots Exclusion Protocol），站通过 Robots 协议告诉搜索引擎什么可以抓取，哪些不能抓取

　　robots.txt 只是约定，爬遵循或则不遵循完全在于爬作者的意愿。举个例，公交上贴着「请为弱病残孕让座」，但是部份并不得会遵循。般来讲，只有的搜索引擎爬会遵循你站的 robots.txt 协议，其它的爬基本都不会看眼你的 robots.txt 写的是哪些。

　　第步：数据储存

　　搜索引擎是通过蜘蛛跟踪链接爬到，并将爬的数据存原创数据库。其中的数据与户浏览器得到的 HTML 是完全样的。搜索引擎蜘蛛在抓取时，也做定的重复内容检查，旦遇见权重太低的站上有量剽窃、采集或者复制的内容，很可能就不再爬。

　　第三步：预处理

　　搜索引擎将蜘蛛抓取回去的，进各类步骤的预处理。

　　除了 HTML件外，搜索引擎一般能够抓取和索引以字为基础的多种件类型，如 PDF、Word、WPS、XLS、PPT、TXT 件等。我们在搜索结果中也常常会听到这种件类型。

　　但搜索引擎还不能处理图、视频、Flash 这类字内容，也不能执脚本和程序。

　　第四步：排名，提供检索服务

　　搜索引擎是按照定的策略、运特定的计算机程序从互联上采集信息，在对信息进组织和处理后，为户提供检索服务，将户检索相关的信息展示给户的系统。

　　但是，这些通性搜索引擎也存在着定的局限性：

　　不同领域、不同背景的户常常具有不同的检索的和需求，通搜索引擎所返回的结果收录量户不关的。通搜索引擎的标是尽可能的络覆盖率，有限的搜索引擎服务器资源与限的络数据资源之间的盾将进步加深。万维数据方式的丰富和络技术的不断发展，图、数据库、频、视频多媒体等不同数据量出现，通搜索引擎常常对这种信息浓度密集且具有定结构的数据能为，不能挺好地发觉和获取。通搜索引擎多提供基于关键字的检索，难以持按照语义信息提出的查询。三、聚焦爬(Focused Crawler)聚焦爬，称主题爬（或专业爬），是“向特定主题”的种络爬程序。它与我们一般所说的爬（通爬）的区别之处就在于，聚焦爬在施行抓取时要进主题筛选。它尽量保证只抓取与主题相关的信息。聚焦络爬并不追求的覆盖，将标定为抓取与某特定主题内容相关的，为向主题的户查询打算数据资源。聚焦爬的作流程较为复杂，需要按照定的剖析算法过滤与主题关的链接，保留有的链接并将其放等待抓取的 URL 队列。然后，它将按照定的搜索策略从队列中选择下步要抓取的URL，并重复上述过程，直到达到系统的某条件时停。另外，所有被爬抓取的将会被系统储存，进定的剖析、过滤，并建索引，以便以后的查询和检索；对于聚焦爬来说，这过程所得到的剖析结果还可能对之后的抓取过程给出反馈和指导。

　　我们今后要学习的，主要就是聚焦爬。点击获取python网路爬虫视频教程。