智能文章采集( 这是一个数据驱动商业发展的时代。数据的挖掘和分析)

　　智能文章采集(

这是一个数据驱动商业发展的时代。数据的挖掘和分析)

　　这是一个数据驱动业务发展的时代。

　　数据挖掘和分析不再仅仅是排他性的，它正逐渐成为广大中小企业的基本需求，也越来越迫切。并且随着网络爬虫的普及，云计算计算能力的提高，以及机器学习算法的发展，数据挖掘技能逐渐普及。广大中小企业也可以基于数据驱动提供更好的服务和产品，从而获得更大的发展。

　　数据挖掘实际上是一个很大的概念。本文主要讨论“挖掘”，或者说“网络爬虫”和“网络抓取”，比较容易理解。因为除了少数产品可以获取海量数据外，大部分企业需要从公共数据中获取外部数据，主要是互联网，用于市场分析、舆情监测、竞品分析等。

　　在我看来，我更喜欢称它为“data采集”。分为“采集”和“采集”两个步骤。

　　对应的“采集”主要是数据的获取，可以通过多种方式获取。网页爬取为主，还有数据合作和采购。

　　对应的“集合”就是对数据进行清洗、连接、整合，将价值密度低的数据转化为价值密度高的数据。

　　1

　　.《数据的发展阶段采集》。

　　据笔者分析，数据采集从1990年*敏*感*词*始，在相当长的一段时间内，一直是技术开发者的一项特殊技能。但随着云计算、大数据甚至人工智能的发展，这个技能变得简单易用，就像“老王谢堂千言飞入寻常百姓家”。主要经历四个阶段。

　　熟悉爬虫的攻城狮会想说一堆喜欢的：Scrapy、WebMagic、Nutch、Heritrix等等，相信Github上的爬虫框架不下30个。它们的共同特点是：门槛高，仅供开发者使用，学习成本和维护成本高，企业组建爬虫团队往往成本高昂。

　　用户需要下载客户端并具备一定的HTML、正则表达式和CSS能力。国内最早的客户端叫优采云采集器，属于一代爬虫工具，对HTML和正则表达式要求比较高（笔者亲自测试过）。

　　二代产品如优采云、Jisouke GooSeeker提供可视化爬取服务，通过点击爬取需要的数据。其特点是：门槛进一步降低。对于非专业的开发者，经过一定的学习，可以自己爬取所需的公开数据。但是，它主要针对个人用户。由于用户客户端的限制，难以进行*敏*感*词*连续爬取，数据存储和分析难以平衡。

　　首先，用户体验大大提升。他们中的大多数采用点击式方法。用户所见即所得。他们无需编写代码或了解 HTML、正则表达式和 CSS 样式即可自定义所需的爬虫。其次，无需担心自己电脑的限制。爬虫运行的云端可以固定时间，也可以爬取大量数据，甚至可以在云端做一定程度的数据清洗和整合。

　　目前国外数据采集项目大多采用前端点击方式和后端云服务模式。以下为国外项目列表：

　　目前国内data采集项目分为三种：

　　1、基于客户端或插件的云采集服务。

　　客户端模式代表了优采云、Jisouke GooSeeker等项目，它们不仅仅依赖于客户端的计算资源，而是使用客户端的方式来更好更快地可视化和点击用户体验。同时将爬取的服务转移到云端，提供更大的数据爬取能力和数据整合能力。

　　浏览器插件方式就像爬虫一样。通过安装浏览器插件，实现前端点击方式和后端云服务模式。

　　2.基于Web的云采集服务

　　用户无需安装，直接对网友进行点击操作，云端进行爬虫服务。这种方法的优点是用户可以随时随地使用，简单方便。国外很多项目都采用这种模式，比如import.io，国内采用这种模式的项目是枣树科技。但缺点是网页需要先在云端加载渲染，再呈现给用户，需要提供者大量的计算资源，而且速度往往很慢。

　　3. Cloud for Developers采集云服务开发

　　目前，国内一家名为优采云的公司正在提供此类服务。优采云是一站式通用爬虫开发平台。具备Java能力的开发者可以在平台上开发爬虫；没有开发能力的用户可以在爬虫市场购买或定制爬虫进行开发。

　　其主要客户是中小企业的开发商。基于优采云平台，开发者只需掌握一定的Java开发能力即可进行开发。同时提供爬取能力、动态IP代理、云文件托管、验证码识别等服务的弹性计算服务，帮助开发者快速高效地采集网络数据。目前市场上，基本上80%的人都在采集20%的网络数据中，比如企业信息、电商、O2O等，而这些网络数据往往具有很强的反爬能力。

　　笔者认为目前数据采集还处于3.0阶段，还没有形成4.0阶段，即提供数据采集、清洗、连接、分析等综合数据服务能力。

　　从3.0到4.0的阶段，在笔者看来，不仅仅是技术上的升级。不同行业、不同场景需要不同的数据，往往难以标准化，导致定制化，难以形成标准产品，难以*敏*感*词*扩展。场景变化带来的技术挑战将凸显出来，因为真实场景所需的技术不是简单的升级，而是颠覆性的创新。

　　至于未来是否会完成跳跃，未来又会如何为大家服务，目前还很难说。目前国外import.io、dexi.io、Connotate、国内优采云、优采云、早书都在进行自己的探索。

　　2

　　.“合法性调查”。

　　数据爬取的合法性在互联网领域一直存在争议，部分*敏*感*词*利用数据爬取工具进行黑商交易也是事实。数据抓取就像一把锋利的双刃剑，主要取决于用户是否以有益的方式应用它。

　　其实互联网数据爬取的主要原理就是Robots协议，也就是爬虫协议。网站通过Robots协议，告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。这原本主要针对搜索引擎公司，大家自觉遵守约定。

　　随着data采集范围的扩大，这个约定逐渐被打破，但也有既定的规则，广大data采集公司都应该遵守。

　　1、采集应该是互联网上的公开数据，数据的使用不能用于复制网站信息，或者干脆出售数据。更允许的情况是对多方采集的公开数据进行整合分析，形成数据分析服务。

　　2、采集的强度不应损害当前网站的性能，无形中增加目标网站的维护成本，甚至造成损失。

　　此外，我国刚刚于6月1日实施了《中华人民共和国网络安全法》，这是我国网络领域的基本法，明确加强个人信息保护，打击网络诈骗。

　　《网络安全法》共7章79条，对个人信息泄露问题作出规定：网络产品和服务具有采集用户信息功能的，提供者应当明示并征得用户同意；网络运营者不得泄露、篡改、损毁其采集。任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。这可能是对数据采集 公司更具方向性的指导。

　　3

　　.“Data采集发展到现在，怎么现在爆发了？”。

　　随着云计算、大数据、人工智能的发展，数据采集作为一种重要的数据手段，已成为企业的迫切需求。首当其冲的是中小企业的数据采集团队，不再需要维护一个完整的团队，大大降低了公司的成本，可以利用这些积蓄来开发用户数据产品并提升产品价值。对于普通个人来说，可以定制自己的data采集解决方案，门槛不高。更多行业、更多场景将被广泛应用。

　　人工智能的服务形态告诉我们，对于那些信息完备（Information-Complete）的领域，机器最终会超越并取代人类；

　　对于那些信息不完整（Information-Incomplete）的领域，也将通过人机协作推动新的发展；

　　对于那些抽象思维（Information-Free）的领域，仍然以人类为主，机器提供了一定的帮助。

　　Data采集 属于 Information-Complete 领域。机器可以在数据采集、清洗和整合上完全替代人类，然后通过与人类协作进行数据分析和预测。这将是即将发生的事情。