要来一个事：云采集是如何颠覆整个爬虫界的

　　要来一个事：云采集是如何颠覆整个爬虫界的

　　总结：其实云采集就是这么简单的一个东西，就是通过云采集服务器的控制，给每个服务器分配采集任务，它的采集由指令控制但是优采云是第一个云采集技术，也是一个云采集平台，用户量非常大，所以云采集、优采云走了很长一段路。所以我们一直坚持只有优采云的云采集才是真正的云采集。

　　先说一件事：“cloud采集”的概念是优采云在2013年提出的，领先于*敏*感*词*。

　　2013年优采云自2013年创业以来，自创了自己的云采集技术。我们可以在优采云的版本更新记录中找到这方面的踪迹。只是因为自己创业，没有足够的知识产权意识，也没有资金和精力去申请相关的知识产权。现在很多竞争公司都说自己有云采集技术，但是很多公司都没有搞清楚真相。的云采集技术。

　　2013-12-06 版本更新记录

　　2014-05-01 版本更新记录

　　今天我们要讲的是cloud采集是如何颠覆整个爬虫世界的。当然，因为我们优采云是当事人，所以作者可以带大家回顾一下cloud采集攀虫这几年的发展历程。

　　cloud采集是在什么背景下诞生的？

　　2006 年 8 月 9 日，谷歌 CEO Eric Sc​​hmidt 在搜索引擎大会（SES San Jose 2006））上首次提出了“云计算”的概念。 Google 的“云计算”起源于 Google 工程师 Christopher Biscilia 完成的“Google 101”项目。

　　直到 2008 年，中国 IT 行业才开始谈论云计算。作为一名2007年的计算机毕业生，我刚刚赶上了这波热潮，但说实话，当时是一个概念，没有人看到。这是一个真正的产品，所以我还没有弄清楚它是什么。顶多听说过Google的Google Charts、Google Words等等。当时，我并不了解这些产品的用途。不是word和excel的网页版吗？不如微软好用。

　　但工作多年后，我了解到微软的word和excel只能在windows机器上使用。如果你想在苹果电脑上使用它们，你必须努力工作。但是网页版就不一样了，它是跨平台的，你习惯了，到处都可以用，还能把数据保存在云端。更关键的是，帮助我们提高工作效率或组织管理的工作不再仅依赖于软件，而是云服务。

　　随着云计算的诞生，业界也诞生了以下三个层次的服务

　　基础设施级服务 (IaaS)，

　　平台级服务 (PaaS)，

　　软件级服务 (SaaS)。

　　我们可以简单地将 SaaS 理解为一种在云中提供标准化产品的服务模型。因为它的标准化，无论是一个企业使用，还是百家企业使用，都是一种开发成本。这对产品在一定场景下的通用性提出了非常高的要求，但也大大提高了产品在市场上的竞争力。企业采用SaaS模式的效果与企业自建信息系统的效果基本一致，但节省了大量资金，从而大大降低了企业信息化的门槛和风险。

　　许多 SaaS 公司提供月费和年费模式。这不同于以往的软件以项目的形式受到*敏*感*词*的欢迎，所以在接下来的十年里，也演化为一种主流的企业服务形式。

　　*敏*感*词*数据等等。 ，都是在saas领域做的特别好的公司。

　　在云计算和SaaS趋势的背景下，优采云创新使用云采集技术，提供SaaS运营模式。用户只需在客户端上传采集规则，即可使用云分布式服务执行采集，每个云服务器都会按照采集规则执行采集。所以优采云团队给了这个采集模式并命名为“云采集”

　　为什么会诞生“Cloud采集”

　　优采云出来创业的时候，市场上有非常成熟和强大的竞争对手。但他们以传统软件运营商的模式运作，主要以销售授权码的形式。如果用户想在电脑上运行，就必须购买他的授权码。就像我们早期使用Word 2003、2007一样，经常需要上网搜索破解解码。当时竞争者如火如荼，但只是一个客户端软件，只能在本地电脑采集上进行。

　　优采云创始人刘宝强克文，有多年外企及海外工作经验。他也是某data采集方向的研发工程师。他想制作一个通用网页采集产品来代替公司编写的众多采集代码。他很清楚采集各种技术的优缺点、问题和瓶颈。

　　Keven 当时也知道他的竞争对手的实力。那个时候，他其实不敢想象自己还能做出更好的采集产品，因为对手太强了，采集界女子不认识。但他知道，超越竞争对手往往不是遵循战略，而是颠覆和采用与他们不同的思维方式。

　　Keven 分析说，从 Internet 请求数据的传统方式是 http post 和 get 请求。这确实是当时网页采集的主流模式，这种形式效率极高，但这种模式很复杂。度也很高，不是一般人能操作和配置的，能看懂这套理论的多半是有开发背景的人。

　　他知道在大公司里，做数据采集工作的大部分人都不是电脑开发者，所以他把自己的采集产品定位为普通人可以使用的采集产品，可以配置规则通过在界面上定位和拖动。经过半年的研究，他突破重重困难，实现了所见即所得的采集workflow配置模式。

　　但是问题也出现了。因为是通过浏览器加载网页然后获取数据的方式，竞品可能一次请求获取数据，而由于优采云需要加载整个网页，这可能涉及数百个请求，所以采集 速度慢。 （可以使用httpwatch查看在浏览器中打开一个网页所涉及的请求数）

　　解决了易用性问题后，出现速度问题？

　　如何解决？

　　如果有多台机器同时在云端，甚至规则中的URL列表进行拆分，让云服务器同时分布采集，那么速度可以提高更多比N倍。这条路是可行的，但这条路带来了另一个问题。

　　解决速度问题后，还有成本问题？

　　如何解决？

　　Keven 判断，如果租用 10 台云服务器，通过共享经济的概念平分成本，实际上每个用户每月只需要几百元。相对于数据的价值，远远大于这笔投资，应该有用户愿意为之付费。

　　此外，成本问题应该不是什么大问题。根据摩尔定律理论，硬件成本只会越来越低。情况确实如此。后期优采云通过与主流云服务厂商的合作，有效控制了整个云服务器的成本，帮助用户降低了这一成本。

　　基于此，2013年Q4，采集数据领域，优采云领先*敏*感*词*领先企业，创新打造了采集模式——云采集。

　　cloud采集背后的发展历程

　　其实云采集就是这么简单的一个东西，就是通过云采集服务器的控制，给每个服务器分配采集任务，它的采集由指令控制。但是优采云是一个创新的云采集技术和一个拥有非常庞大用户数量的云采集平台，所以云采集这件事，优采云走了很长一段路。所以我们一直坚持只有优采云的云采集才是真正的云采集。

　　1 突破多项技术难关

　　优采云在五年的运营过程中逐渐突破了云采集的各种问题。其中的很多问题，其实在大数据面前是不会出现的。让我举几个例子：

　　有一些项目吹嘘自己有云采集技术，但当他们真正尝试时，却漏洞百出。比如我们可以控制100台服务器采集data，但是如果只有一个数据存储支持导出数据，就会造成导出数据比采集慢100倍的窘境。只能看到库中的数据，不能移动。

　　有人认为如果在云端有一个采集的服务器，就叫做云采集。但是不知道采集在同时有数百台服务器的情况下，他需要背后的大数据存储解决方案的支持。只有采集到达的数据才能一一存入数据库，有序存储，方便后期检索、查询、导出。

　　由于采集的网页数据状态不同，云采集需要动态分配，需要做很多前期工作。有时候网站有防采集的一些策略，在采集之前，能不能判断一下对方网站的一些措施和判断，或者在采集过程中动态调整服务器运行策略？云采集方案的测试。

　　2 持续提供稳定的采集和出口服务

　　优采云 现在在全球拥有 5000 多台服务器。现在每天采集和导出的数据都是采集用户T-calculation所服务的全球所有语言和领域的用户，对于企业级产品在技术上，提供稳定运维的能力是一个关键问题。

　　优采云拥有多个运维后台，可以随时监控整个服务器集群中每个采集服务器的状态。出现情况时，可以灵活开通更多服务器，部署服务器，让客户的采集生产环境对数据保持相对稳定。

　　如此庞大的云服务器采集集群是任何竞争对手都无法比拟的，而面对如此庞大的集群，优采云依然保持着稳定的采集和出口服务。

　　3 其他资格

　　优采云连续三年在中国大数据行业数据采集领域排名第一，足以证明优采云在data采集在该领域的长期积累和贡献.

　　最后一段介绍可以理解为硬播，哈哈，我们知道云采集是怎么诞生的，它是在什么条件下诞生的，有很大的技术难点，还有一些我们已经突破的问题一路上。回顾这段历史，我想告诉大家，我们优采云一直致力于提供稳定的云采集服务。还有很长的路要走。我们的压力也越来越大，也在不断的优化中，这个过程有点坎坷，还需要优采云用户多多支持我们，我们会尽力回馈。

　　一起来吧！