外媒:吴韦朋：你的网站做了SEO优化，为什么网站没有排名？

　　外媒:吴韦朋：你的网站做了SEO优化，为什么网站没有排名？

　　主页 关键词 也乱了。直接公司名称和目录路径是动态的。至少应该做伪静态，但这些并不重要。里面的内容不好看。几乎没有内容。只有产品图片和公司介绍，没有其他内容文字。

　　在这样的网站上有 收录 很奇怪，更不用说排名了！如果你所做的网站 只是互联网上的一个展示，为什么还要花钱呢？他还花了一万多块钱在这个车站请人帮他做，真是可怜。

　　说白了，他的网站根本没有任何seo优化思想，更不用说seo技术的优化了。

　　影响网站收录和排名的主要因素有哪些？

　　让我们从他对网站 的分析开始。进入他的网站主页，服务器极不稳定，反映空间服务商不靠谱。

　　至少他现在得换个空间服务商。他要知道，一个用户进入网站的首页不会等待超过3秒，超过3秒会立即关闭网站并离开。

　　还有一个，网站好久没上线了，两个多月了，可能还在百度沙盒评估期。

　　

　　但是绝大多数网站基本都是一个月左右的收录，可见他的网站不仅仅是服务器问题，还涉及到其他影响因素的存在。

　　看他的网站，它的网站目录路径和网页路径是动态显示的，网站结构很不合理，这也是影响收录和排名的另一个重要因素.

　　网站Homepage关键词 设置为公司名称，通常由没有SEO优化思想的人完成。而且网站界面设计艺术家完全是垃圾，十年前的界面并不多。

　　当然，除了上述之外，还有很多问题。所以，这是一个典型的没有seo优化思想的网站。

　　一个网站做了seo优化，但是没有排名的主要因素主要有以下几个。

　　空间服务器不稳定。建议直接换个好的空间服务商，有利于网站提升网站访问速度，留住网站用户，提供更好的站点体验和服务。

　　网站结构不合规，网页源代码设计不合理，网站目录路径太深或动态显示。这就需要根据搜索引擎规则优化源码程序，然后将网站路径设置为伪静态，有利于优化路径，让搜索引擎更容易访问爬取页面收录。

　　网站是seo黑帽或者挂马被K降级，如果你是seo黑帽，这样的网站违反搜索引擎规则，将被严厉打击，或更改域名空间并创建一个新的，或者根据搜索引擎优化的规则，扎实的重新设计和构建。

　　

　　如果挂了，需要清除空间内的所有木马程序。建议每次做站台时，随时备份整个站台程序和空间的数据库，以备不时之需。

　　关键词密度或修改，最好不超过5个主页关键词，网页内容关键词密度应控制在5%左右，不要随意更改网站主页关键词，或网页 关键词。

　　即便是大面积修改网站更是不可取，至少做好搜索引擎爬取协议措施，否则会严重影响收录和网站的排名。

　　用户体验不符合需求，主要是网站内容太差不优质，或者网站内容不优质原创，如果使用伪原创of 采集文章，永远不会有好的收录和排名。做优质的内容，满足用户的需求，是首要的。在内容为王的时代，我们必须更加重视这一点。

　　网站 内外链接不到位。比如不要用同一个词的锚文本指向网站的首页，根据不同的话题做不同的锚文本。狠，尤其是做好优质的朋友链和外链，对收录和排名、权重都有非常重要的影响。

　　没有强有力和无情的执行，这也是至关重要的。需要每天不断更新网站的优质内容来提升用户体验，也需要每天不断构建强大的外部链接。这两点是保证网站保持稳定收录和排名和权重是最关键的因素，如果不执行就很难做好网站seo优化足够强大。

　　总之，只要了解网站seo优化的原理，做网站seo优化其实很简单。在牢牢消化以上主要影响因素后，升级、优化、改进网站提升用户体验，网站的收录、排名和权重都会得到很好的效果。

　　作者简介：吴伟鹏，90后创业斜杠青年。擅长网络营销策划+自媒体建筑+新媒体营销。他也是草根站长+文案。拥有5年网站建设+推广经验。迄今为止，他已经为数百家中小企业做过工作。网络推广外包服务。更多学习干货，可以到公众号搜索“吴伟鹏”阅读。

　　事实:“数据世界里”无所不能的“网络爬虫”

　　前几天写的关于“大数据”的文章得到了很多朋友的认可。“大数据”这几年很火，所以小伙伴们都知道“大数据”中的“数据”。“它是怎么来的？

　　我们可以简单列举：

　　1、企业产生的用户数据

　　比如BAT等公司拥有庞大的用户群，用户的任何行为都会成为其数据源的一部分

　　2.数据平台采购数据

　　比如来自国家数据中心数据市场等。

　　3. 政府机构披露数据

　　比如统计局、银行的公开数据等。

　　4. 数据管理公司

　　比如艾瑞。

　　5.爬虫获取网络数据

　　通过网络爬虫技术，对网络数据进行爬取使用。

　　所以其实对于中小企业或者个人想要获取“大数据或者海量数据”来说，最划算的方法就是使用“网络爬虫技术”来获取有效数据，所以近年来，“网络爬虫技术”也很流行！

　　今天给大家讲解一下《网络爬虫技术原理与实现》！

　　1.什么是网络爬虫？

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常被称为网络追逐者）是根据一定规则自动爬取万维网上信息的程序或脚本。简单地说，它是一个请求网站并提取数据的自动化程序。

　　最著名的网络爬虫应用程序是谷歌和百度的网络爬虫。

　　这两大搜索引擎每天都在网上抓取大量的数据，然后做数据分析处理，最后通过搜索展示给我们。可以说，网络爬虫是搜索引擎的基础！

　　二、网络爬虫的工作流程和原理

　　网络爬虫是搜索引擎爬虫系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地，形成网络内容的镜像备份。

　　（一）网络爬虫的基本结构和工作流程

　　一个通用网络爬虫的框架如图所示：

　　网络爬虫的基本工作流程如下：

　　1.首先选择部分精心挑选的*敏*感*词*网址；

　　2、将这些网址放入待抓取的网址队列中；

　　3、从待爬取的URL队列中取出待爬取的URL，解析DNS，获取主机IP，下载该URL对应的网页，存入下载的网页库中。此外，将这些 URL 放入 Crawl URL 队列。

　　4、分析已经爬取的URL队列中的URL，分析其中的其他URL，将这些URL放入待爬取的URL队列中，从而进入下一个循环。

　　（2）从爬虫的角度划分互联网

　　相应地，互联网上的所有页面可以分为五个部分：

　　1. 已下载但未过期的网页

　　2、下载和过期网页：抓取的网页实际上是互联网内容的镜像和备份。互联网是动态的，互联网上的一些内容发生了变化。此时，这部分抓取的网页已经过期。

　　3.待下载网页：URL队列中待爬取的网页

　　4. 已知网页：尚未被爬取，也不在待爬取的URL队列中，但分析爬取页面得到的URL或待爬取URL对应的页面可以认为是已知网页。

　　5、还有一些网页是爬虫无法直接抓取下载的。称为不可知网页。

　　(3) 抢夺策略

　　在爬虫系统中，待爬取的 URL 队列是一个重要的部分。待爬取的URL队列中的URL的排列顺序也是一个重要的问题，因为它涉及到先爬到哪个页面，再爬到哪个页面。确定这些 URL 排列顺序的方法称为爬取策略。下面重点介绍几种常见的爬取策略：

　　1.深度优先遍历策略

　　深度优先遍历策略是指网络爬虫会从起始页开始，每次一个链接跟踪每个链接，处理完该行后移动到下一个起始页，并继续跟踪该链接。我们以下图为例：

　　遍历的路径：AFG EHI BCD

　　2. 广度优先遍历策略

　　广度优先遍历的基本思想是将新下载的网页中找到的链接直接插入待爬取URL队列的末尾。也就是说，网络爬虫会先爬取起始网页链接的所有网页，然后选择其中一个链接的网页，继续爬取该网页链接的所有网页。或者以上图为例：

　　遍历路径：ABCDEF GHI

　　3.反向链接计数策略

　　反向链接数是指从其他网页指向一个网页的链接数。反向链接的数量表示网页内容被他人推荐的程度。因此，在很多情况下，搜索引擎的爬取系统会使用这个指标来评估网页的重要性，从而确定不同网页的爬取顺序。

　　在真实的网络环境中，由于广告链接和作弊链接的存在，反向链接的数量并不能完全等同于他人的重要性。因此，搜索引擎倾向于考虑一些可靠的反向链接计数。

　　4.部分PageRank策略

　　Partial PageRank算法借鉴了PageRank算法的思想：对于下载的网页，与待爬取的URL队列中的URL一起形成一组网页，计算每个页面的PageRank值. URL 按 PageRank 值排序，并按该顺序抓取页面。

　　如果每次爬取一个页面都重新计算一次PageRank值，折中的解决方案是：每爬完K个页面，重新计算一次PageRank值。但是这种情况还是有一个问题：对于下载页面中分析的链接，也就是我们前面提到的那部分未知网页，暂时没有PageRank值。为了解决这个问题，会给这些页面一个临时的PageRank值：把这个网页的所有传入链接传入的PageRank值聚合起来，从而形成未知页面的PageRank值，从而参与排序。以下示例说明：

　　5. OPIC 战略策略

　　该算法实际上为页面分配了一个重要性分数。在算法开始之前，所有页面都会获得相同的初始*敏*感*词*。当某个页面P被下载时，P的*敏*感*词*分配给从P分析的所有链接，P的*敏*感*词*被清空。根据*敏*感*词*数量对待爬取URL队列中的所有页面进行排序。

　　6.大网站优先策略

　　所有待爬取的URL队列中的网页都按照它们所属的网站进行分类。网站需要下载的页面较多，请先下载。这种策略也称为大站点优先策略。

　　(4)、更新策略

　　互联网实时变化并且非常动态。网页更新策略主要决定何时更新之前已经下载的页面。常见的更新策略有以下三种：

　　1. 历史参考策略

　　顾名思义，它根据页面过去的历史更新数据来预测未来页面何时会发生变化。通常，预测是通过泊松过程建模来进行的。

　　2. 用户体验策略 虽然搜索引擎可以针对某个查询条件返回海量结果，但用户往往只关注结果的前几页。因此，爬虫系统可以优先更新那些实际在查询结果前几页的页面，然后再更新后面的那些页面。这个更新策略也需要用到历史信息。UX 策略保留网页的多个历史版本，并根据每个过去内容更改对搜索质量的影响得出一个平均值，并以此值作为决定何时重新抓取的基础。3.整群抽样策略

　　上面提到的两种更新策略都有一个前提：需要网页的历史信息。这种方式存在两个问题：第一，如果系统为每个系统保存多个版本的历史信息，无疑会增加很多系统负担；第二，如果新网页完全没有历史信息，就无法确定更新策略。

　　该策略认为网页具有许多属性，具有相似属性的网页可以认为具有相似的更新频率。计算某一类别网页的更新频率，只需对该类别的网页进行采样，并将其更新周期作为整个类别的更新周期。基本思路如下：

　　(5)分布式爬虫系统的结构一般来说，爬虫系统需要面对整个互联网上亿万的网页。单个爬虫不可能完成这样的任务。通常需要多个爬虫程序一起处理它们。一般来说，爬虫系统往往是分布式的三层结构。如图所示：

　　最底层是分布在不同地理位置的数据中心。每个数据中心有多个爬虫服务器，每个爬虫服务器可能部署多套爬虫程序。这样就构成了一个基本的分布式爬虫系统。

　　对于数据中心中的不同服务器，有几种方法可以协同工作：

　　1.主从

　　主从基本结构如图：

　　对于主从类型，有一个专门的主服务器来维护要爬取的URL队列，负责每次将URL分发给不同的从服务器，从服务器负责实际的网页下载工作。Master服务器除了维护要爬取的URL队列和分发URL外，还负责调解每个Slave服务器的负载。为了避免一些从服务器过于空闲或过度工作。

　　在这种模式下，Master往往会成为系统的瓶颈。

　　2. 点对点

　　等价的基本结构如图所示：

　　在这种模式下，所有爬虫服务器之间的分工没有区别。每个爬取服务器可以从待爬取的URL队列中获取URL，然后计算该URL主域名的哈希值H，进而计算H mod m（其中m为服务器数量，上图为例如，m 3)，计算出的数字是处理 URL 的主机号。

　　例子：假设对于URL，计算器hash值H=8，m=3，那么H mod m=2，那么编号为2的服务器会抓取该链接。假设此时服务器 0 获取了 URL，它会将 URL 传输到服务器 2，服务器 2 将获取它。

　　这种模式有一个问题，当一个服务器死掉或添加一个新服务器时，所有 URL 的哈希余数的结果都会改变。也就是说，这种方法不能很好地扩展。针对这种情况，提出了另一种改进方案。这种改进的方案是一致的散列以确定服务器划​​分。

　　其基本结构如图所示：

　　一致散列对 URL 的主域名进行散列，并将其映射到 0-232 范围内的数字。这个范围平均分配给m台服务器，根据主URL域名的hash运算值的范围来确定要爬取哪个服务器。

　　如果某台服务器出现问题，本应负责该服务器的网页将由下一个服务器顺时针获取。在这种情况下，即使一台服务器出现问题，也不会影响其他工作。

　　三、常见的网络爬虫类型

　　1. 通用网络爬虫

　　爬取目标资源 在整个互联网上，爬取的目标数据是巨大的。对爬取性能的要求非常高。应用于大型搜索引擎，具有很高的应用价值。

　　一般网络爬虫的基本组成：初始URL采集、URL队列、页面爬取模块、页面分析模块、页面数据库、链接过滤模块等。

　　一般网络爬虫的爬取策略：主要有深度优先爬取策略和广度优先爬取策略。

　　2. 专注爬虫

　　在主题相关页面上进行目标爬取

　　主要用于特定信息的爬取，主要是为特定类型的人提供服务

　　重点介绍网络爬虫的基本组成：初始URL、URL队列、页面爬取模块、页面分析模块、页面数据库、连接过滤模块、内容评估模块、链接评估模块等。

　　关注网络爬虫的爬取策略：

　　1）基于内容评价的爬取策略

　　2）基于链接评估的爬取策略

　　3）基于强化学习的爬取策略

　　4）基于上下文图的爬取策略

　　3.增量网络爬虫

　　增量更新是指在更新过程中只更新变化的地方，不变的地方不更新。只抓取内容发生变化的网页或新生成的网页，可以在一定程度上保证抓取到的网页。, 尽可能新

　　4. 深网爬虫

　　表面网页：无需提交表单即可使用静态链接访问的静态网页​​​​​​​​​​​​​​

　　深层网页：隐藏在表单后面，无法通过静态链接直接获取。是提交某个关键词后才能获得的网页。

　　深网爬虫最重要的部分是表单填写部分

　　深网爬虫的基本组成：URL列表、LVS列表（LVS是指标签/值集合，即填充表单的数据源）爬取控制器、解析器、LVS控制器、表单分析器、表单处理器、响应分析装置等

　　有两种类型的深度网络爬虫表单填充：

　　基于领域知识的表单填写（构建一个关键词填写表单库，需要时根据语义分析选择对应的关键词填写）

　　基于网页结构分析的表单填写（一般只在字段有限的情况下使用，此方法会分析网页结构并自动填写表单）

　　四、教你如何实现一个简单的网络爬虫

　　(1)爬虫进程

　　在构建程序之前，我们首先需要了解爬虫的具体流程。

　　一个简单的爬虫程序，流程如下：

　　换句话说，它是：

　　1.从任务库中选择*敏*感*词*URL（可以是MySQL等关系型数据库）；

　　2、在程序中初始化一个URL队列，并将*敏*感*词*URL加入队列；

　　3、如果URL队列不为空，则将队列头部的URL出队；如果 URL 队列为空，则退出程序；

　　4、程序根据出队的URL反映对应的解析类，新建线程开始解析任务；

　　5、程序会下载该URL指向的网页，判断该页面是详情页还是列表页（如博客中的博客详情和博文列表）。, 页面链接被提取并添加到 URL 队列中；

　　6.解析任务完成后，重复步骤3。

　　(2) 程序结构

　　我们已经知道了爬虫的具体流程。现在，我们需要一个合理的程序结构来实现它。

　　首先介绍一下简单爬虫程序的主要结构：

　　然后，看一下程序中的工具类和实体类。

　　最后，根据类的作用，我们把它放在上面流程图的对应位置。具体*敏*感*词*如下：

　　现在，我们已经完成了实际流程到程序逻辑的转换。接下来，我们将通过源代码的介绍，深入了解程序的细节。

　　(3)、任务调度、初始化队列

　　在简单爬虫中，任务调度和队列初始化都是在 SpiderApplication 类中完成的。

　　(4)插件工厂

　　在 URL 轮询调度中，有一个语句需要我们注意：

　　AbstractPlugin 插件 = PluginFactory.getInstance().getPlugin(task);

　　其中AbstractPlugin是继承Thread的抽象插件类。

　　该语句表示继承 AbstractPlugin 的指定插件由插件工厂根据 url 实例化。

　　插件工厂也可以理解为解析类工厂。

　　在本方案中，插件工厂的实现主要依赖于三个方面：

　　1. 插件

　　包插件；

　　导入 java.lang.annotation.*；

　　/**

　　* 插件注释

　　*

　　* @作者熊猫

　　* @日期 2017/12/01

　　*/

　　@Target({ElementType.TYPE})

　　@Retention(RetentionPolicy.RUNTIME)

　　@记录

　　公共@interface插件{

　　字符串值（）默认“”；

　　}

　　Plugin其实是一个注解接口，在Plugin的支持下，我们可以实现程序通过注解@Plugin来识别插件类。这就像在 SpringMVC 中，我们通过@Controller、@Service 等来识别每个 bean。

　　2. Xmu插件

　　@Plugin(值 = "")

　　公共类 XmuPlugin 扩展 AbstractPlugin {

　　}

　　XmuPlugin 是众多插件（解析类）中的一种，作用由注解@Plugin 标注，其具体身份（即对应哪个url）由注解中的值标注。

　　3.插件工厂

　　包装厂；

　　导入实体.任务；

　　导入 org.slf4j.Logger；

　　导入 org.slf4j.LoggerFactory；

　　导入 plugins.AbstractPlugin；

　　导入插件。插件；

　　

　　导入 util.CommonUtil；

　　导入java.io.File；

　　导入 java.lang.annotation.Annotation；

　　导入 java.lang.reflect.Constructor；

　　导入 java.util.ArrayList；

　　导入 java.util.HashMap；

　　导入 java.util.List；

　　导入 java.util.Map；

　　/**

　　* 插件工厂

　　*

　　* @作者熊猫

　　* @日期 2017/12/01

　　*/

　　公共类 PluginFactory {

　　private static final Logger logger = LoggerFactory.getLogger(PluginFactory.class);

　　private static final PluginFactory factory = new PluginFactory();

　　私有列表> classList = new ArrayList>();

　　私有地图插件Mapping = new HashMap();

　　私人插件工厂（）{

　　scanPackage("插件");

　　if (classList.size() > 0) {

　　初始化插件映射（）；

　　}

　　}

　　公共静态 PluginFactory getInstance() {

　　返厂；

　　}

　　/**

　　* 扫描包、分包

　　*

　　* @param 包名

　　*/

　　私人无效扫描包（字符串包名）{

　　尝试 {

　　字符串路径 = getSrcPath() + File.separator + changePackageNameToPath(packageName);

　　文件目录 = 新文件（路径）；

　　文件[] 文件 = dir.listFiles();

　　如果（文件==空）{

　　logger.warn("包名不存在！");

　　返回;

　　}

　　对于（文件文件：文件）{

　　if (file.isDirectory()) {

　　scanPackage(packageName + "." + file.getName());

　　} 别的 {

　　Class clazz = Class.forName(packageName + "." + file.getName().split("\\.")[0]);

　　classList.add(clazz);

　　}

　　}

　　} 捕捉（异常 e）{

　　logger.error("扫描包时出现异常：", e);

　　}

　　}

　　/**

　　* 获取根路径

　　*

　　* @返回

　　*/

　　私有字符串 getSrcPath() {

　　返回 System.getProperty("user.dir") +

　　文件分隔符 + "src" +

　　File.separator + "main" +

　　File.separator + "java";

　　}

　　/**

　　* 将包名转换为路径格式

　　*

　　* @param 包名

　　* @返回

　　*/

　　私有字符串 changePackageNameToPath(String packageName) {

　　return packageName.replaceAll("\\.", File.separator);

　　}

　　/**

　　* 初始化插件容器

　　*/

　　私人无效initPluginMapping（）{

　　对于（类 clazz：classList）{

　　注解注解 = clazz.getAnnotation(Plugin.class);

　　如果（注释！= null）{

　　pluginMapping.put(((插件)注解).value(), clazz.getName());

　　}

　　}

　　}

　　/**

　　* 通过反射实例化插件对象

　　* @param 任务

　　* @返回

　　*/

　　public AbstractPlugin getPlugin(Task task) {

　　if (task == null || task.getUrl() == null) {

　　logger.warn("非法任务！");

　　返回空值；

　　}

　　if (pluginMapping.size() == 0) {

　　logger.warn("当前包中不存在该插件！");

　　返回空值；

　　}

　　对象对象=空；

　　String pluginName = CommonUtil.getHost(task.getUrl());

　　String pluginClass = pluginMapping.get(pluginName);

　　if (pluginClass == null) {

　　logger.warn("没有插件名为" + pluginName + "");

　　返回空值；

　　}

　　尝试 {

　　("找到解析插件：" + pluginClass);

　　类 clazz = Class.forName(pluginClass);

　　构造函数构造函数 = clazz.getConstructor(Task.class);

　　object = constructor.newInstance(task);

　　} 捕捉（异常 e）{

　　logger.error("反射异常：", e);

　　}

　　返回（AbstractPlugin）对象；

　　}

　　}

　　PluginFactory的功能主要有两个：

　　扫描插件包下带有@Plugin注解的插件类；

　　根据 url 反射指定插件类。

　　(5)、解析插件

　　上面我们提到，解析插件其实就是解析每个网站对应的类。

　　因为在实际爬虫的解析中，总会有很多类似甚至相同的解析任务，比如链接提取。因此，在解析插件中，我们首先要实现一个父接口来提供这些公共方法。

　　在这个程序中，插件的父接口就是上面提到的 AbstractPlugin 类：

　　包插件；

　　导入实体.任务；

　　导入过滤器.AndFilter;

　　导入过滤器.FileExtensionFilter；

　　导入过滤器.LinkExtractor；

　　导入过滤器.LinkFilter；

　　导入 mons.lang3.StringUtils；

　　导入 org.slf4j.Logger；

　　导入 org.slf4j.LoggerFactory；

　　导入服务。下载服务；

　　导入 util.CommonUtil；

　　导入 java.util.ArrayList；

　　导入 java.util.List；

　　/**

　　* 插件抽象类

　　*

　　* @作者熊猫

　　* @日期 2017/12/01

　　*/

　　公共抽象类 AbstractPlugin 扩展 Thread {

　　private static final Logger logger = LoggerFactory.getLogger(AbstractPlugin.class);

　　受保护的任务任务；

　　受保护的下载服务 downloadService = new DownloadService();

　　私有列表 urlList = new ArrayList();

　　公共抽象插件（任务任务）{

　　this.task = 任务；

　　}

　　@覆盖

　　公共无效运行（）{

　　("{} 开始运行...", task.getUrl());

　　String body = downloadService.getResponseBody(task);

　　if (StringUtils.isNotEmpty(body)) {

　　if (isDetailPage(task.getUrl())) {

　　("开始解析详情页...");

　　解析内容（正文）；

　　} 别的 {

　　("开始解析列表页...");

　　提取页面链接（正文）；

　　}

　　}

　　}

　　公共无效提取页面链接（字符串主体）{

　　

　　LinkFilter hostFilter = new LinkFilter() {

　　字符串 urlHost = CommonUtil.getUrlPrefix(task.getUrl());

　　公共布尔接受（字符串链接）{

　　返回链接.收录（urlHost）；

　　}

　　};

　　String[] fileExtensions = (".xls,.xml,.txt,.pdf,.jpg,.mp3,.mp4,.doc,.mpg,.mpeg,.jpeg,.gif,.png,.js,.拉链，” +

　　".rar,.exe,.swf,.rm,.ra,.asf,.css,.bmp,.pdf,.z,.gz,.tar,.cpio,.class").split("," );

　　LinkFilter fileExtensionFilter = new FileExtensionFilter(fileExtensions);

　　AndFilter filter = new AndFilter(new LinkFilter[]{hostFilter, fileExtensionFilter});

　　urlList = LinkExtractor.extractLinks(task.getUrl(), body, filter);

　　}

　　公共列表 getUrlList() {

　　返回网址列表；

　　}

　　公共抽象无效解析内容（字符串主体）；

　　public abstract boolean isDetailPage(String url);

　　}

　　父接口定义了两个规则：

　　解析规则，即何时解析文本，何时提取列表链接；

　　提取链接规则，即过滤掉不需要的链接。

　　但是我们注意到用于解析父接口中网站正文内容的parseContent(String body)是一个抽象方法。这正是实际的插件类应该做的。这里，我们以 XmuPlugin 为例：

　　包插件；

　　导入实体.任务；

　　导入 org.jsoup.nodes.Document；

　　导入 org.jsoup.nodes.Element；

　　导入 org.jsoup.select.Elements；

　　导入 org.slf4j.Logger；

　　导入 org.slf4j.LoggerFactory；

　　导入 util.CommonUtil；

　　导入 util.FileUtils；

　　导入 java.text.SimpleDateFormat；

　　导入 java.util.Date；

　　/**

　　* xmu 插件

　　*

　　* @作者熊猫

　　* @日期 2017/12/01

　　*/

　　@Plugin(值 = "")

　　公共类 XmuPlugin 扩展 AbstractPlugin {

　　private static final Logger logger = LoggerFactory.getLogger(XmuPlugin.class);

　　公共 XmuPlugin（任务任务）{

　　超级（任务）；

　　}

　　@覆盖

　　公共无效解析内容（字符串主体）{

　　文档 doc = CommonUtil.getDocument(body);

　　尝试 {

　　字符串标题 = doc.select("p.h1").first().text();

　　String publishTimeStr = doc.select("div.right-content").first().text();

　　publishTimeStr = CommonUtil.match(publishTimeStr, "(\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2} )")[1];

　　Date publishTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse(publishTimeStr);

　　字符串内容 = "";

　　元素元素 = doc.select("p.MsoNormal");

　　对于（元素元素：元素）{

　　内容 += "\n" + element.text();

　　}

　　（“标题：” + 标题）；

　　("发布时间：" + 发布时间);

　　（“内容：”+内容）；

　　FileUtils.writeFile(title + ".txt", 内容);

　　} 捕捉（异常 e）{

　　logger.error("解析内容异常：" + task.getUrl(), e);

　　}

　　}

　　@覆盖

　　公共布尔isDetailPage（字符串网址）{

　　return CommonUtil.isMatch(url, "&a=show&catid=\\d+&id=\\d+");

　　}

　　}

　　在 XmuPlugin 中，我们做了两件事：

　　定义详细页面的特定规则；

　　解析出具体的文本内容。

　　(6) 采集 的例子

　　至此，我们已经成功完成了Java简单爬虫程序，我们来看看实际采集的情况。

　　五、分享几个好用的网络爬虫工具和教程

　　很多人看过文章，会说写文章太深奥了，需要编程实现数据爬取。有没有简单的方法或工具来实现这一点？解决之后再给大家分享几个好用的网络爬虫工具，使用起来非常简单，也能达到相应的效果。

　　1. 优采云云爬虫

　　官方网站：

　　简介：优采云Cloud是一个大数据应用开发平台，为开发者提供一整套数据采集、数据分析和机器学习开发工具，为企业提供专业的数据采集和实时数据监测和数据分析服务。

　　优势：功能强大，涉及云爬虫、API、机器学习、数据清洗、数据销售、数据定制和私有化部署等；

　　纯云端操作，跨系统操作无压力，隐私保护，用户IP可隐藏。

　　提供云爬虫市场，零基础用户可直接调用已开发的爬虫，开发者基于官方云开发环境开发上传自己的爬虫程序；

　　领先的反爬技术，如直接获取代理IP、登录验证码自动识别等，全程自动化，无需人工参与；

　　丰富的发布界面，采集结果以丰富的表格形式展示；

　　缺点：它的优点在一定程度上也是它的缺点，因为它是一个面向开发者的爬虫开发系统，提供了丰富的开发功能。网站看起来很技术很专业。虽然官方也提供了云爬虫市场等现成的爬虫产品，并开放给广大爬虫开发者，让爬虫市场的内容更加丰富，但对于技术基础为零的用户来说，却不是那么容易要理解，所以有一定的使用门槛。

　　免费与否：免费用户没有采集 功能和出口限制，也不需要积分。

　　有开发能力的用户可以自行开发爬虫，实现免费结果。没有开发能力的用户需要从爬虫市场寻找免费的爬虫。

　　2. 优采云采集器

　　官方网站：

　　简介：优采云采集器是一个可视化采集器，内置采集模板，支持各种网页数据采集。

　　优点：支持自定义模式，可视化采集操作，使用方便；

　　支持简单采集模式，提供官方采集模板，支持云端采集操作；

　　支持代理IP切换、验证码服务等防阻塞措施；

　　支持多种数据格式导出。

　　缺点：功能使用门槛高，本地采集很*敏*感*词*受限，云端采集收费较高；

　　采集速度慢，很多操作要卡一会。云采集说速度快了10倍，但不明显；

　　仅支持 Windows 版本，不支持其他操作系统。

　　是否免费：号称免费，但实际上导出数据需要积分，做任务也可以赚取积分，但一般情况下，基本都需要购买积分。

　　3. 优采云采集器

　　官方网站：

　　简介：优采云采集器是前谷歌搜索技术团队基于人工智能技术开发的新一代网页采集软件。该软件功能强大，操作极其简单。

　　优点：支持智能采集模式，通过输入网址即可智能识别采集对象，无需配置采集规则，操作非常简单；

　　支持流程图模式，可视化操作流程，通过简单的操作生成各种复杂的采集规则；

　　支持反屏蔽措施，如代理IP切换等；

　　支持多种数据格式导出；

　　支持定时采集和自动发布，发布接口丰富；

　　支持 Windows、Mac 和 Linux 版本。

　　缺点：软件很久没上线了，部分功能还在完善中，暂时不支持云采集功能

　　是否免费：完全免费，采集数据和手动导出采集结果没有任何限制，不需要信用

　　4.使用“优采云采集器”爬取数据实例

　　使用优采云采集瀑布网站图片（附百度图片采集

　　例）方法。

　　采集网站：

　　%E5%A4%8F%E7%9B%AE%E5%8F%8B%E4%BA%BA%E5%B8%90

　　第 1 步：创建一个 采集 任务

　　1）进入主界面，选择自定义模式

　　2）将上述网址的网址复制粘贴到网站输入框，点击“保存网址”

　　3) 系统自动打开网页。我们发现百度图片网是一个瀑布网页。每次下拉加载后，都会出现新数据。当有足够的图片时，它可以被拉下加载无数次。所以这个页面涉及到AJAX技术，需要设置一个AJAX超时时间来保证数据采集不会丢失。

　　选择“打开网页”步骤，打开“高级选项”，勾选“页面加载时向下滚动”，设置滚动次数为“5次”（根据自己的需要设置），时间为“2秒”，滚动方式为“向下滚动一屏”；最后点击“确定”

　　注意：示例 网站 没有翻页按钮。滚动条数和滚动方式会影响数据条数采集，可根据需要设置

　　第 2 步：采集图片网址

　　1) 选择页面第一张图片，系统会自动识别相似图片。在动作提示框中，选择“全选”

　　2）选择“采集下图地址”

　　第三步：修改 Xpath

　　1) 选择“循环”步骤并打开“高级选项”。可以看出优采云系统自动采用“不固定元素列表”循环，Xpath为：//DIV[@id='imgid']/DIV[1]/UL[1]/LI

　　2) 把这个Xpath://DIV[@id='imgid']/DIV[1]/UL[1]/LI复制到火狐浏览器观察——网页中只能定位到22张图片

　　3）我们需要一个可以在网页中定位所有需要的图像的Xpath。观察网页源代码，修改Xpath为：//DIV[@id='imgid']/DIV/UL[1]/LI，网页中所有需要的图片都位于

　　4）将修改后的Xpath://DIV[@id='imgid']/DIV/UL[1]/LI复制粘贴到优采云中对应位置，完成后点击“确定”

　　5) 点击“Save”，然后点击“Start采集”，这里选择“Start Local采集”

　　第 4 步：数据采集 和导出

　　1）采集完成后会弹出提示，选择导出数据

　　2）选择合适的导出方式，导出采集好的数据

　　第 5 步：将图像 URL 批量转换为图像

　　经过以上操作，我们得到了图片的URL为采集。接下来，使用优采云专用图片批量下载工具将采集的图片URL中的图片下载保存到本地计算机。

　　图片批量下载工具：

　　1）下载优采云图片批量下载工具，双击文件中的MyDownloader.app.exe文件，打开软件

　　2）打开文件菜单，选择从EXCEL导入（目前只支持EXCEL格式文件）

　　3) 进行相关设置。设置完成后，单击“确定”导入文件。

　　选择EXCEL文件：导入需要下载图片地址的EXCEL文件

　　EXCEL表名：对应数据表的名称

　　文件URL列名：表中对应URL的列名

　　保存文件夹名称：EXCEL中需要单独一栏列出要保存的图片到文件夹的路径，可以设置不同的图片存放在不同的文件夹中

　　如果要将文件保存到文件夹，路径需要以“\”结尾，例如：“D:\Sync\”，如果下载后要以指定的文件名保存，则需要收录具体文件名，如“D :\sync\1.jpg”

　　如果下载的文件路径和文件名完全一样，则会删除已有文件