云采集(2013-12-06版本更新记录2014-05-01)

　　云采集(2013-12-06版本更新记录2014-05-01)

　　先说一件事：“云采集”的概念是我们优采云在国内和国际上率先提出的。

　　2013年，优采云自2013年成立以来，开创了自己的云采集技术，我们可以在优采云的版本更新记录中找到踪迹。只是因为我刚开始创业，没有足够的知识产权意识，也没有资金和精力去申请相关的知识产权。现在很多竞争公司都在用他们的云采集技术来愚弄他们的产品，但实际上，很多公司还没有弄清楚真正的云采集技术。

　　2013-12-06 版本更新记录

　　2014-05-01 版本更新记录

　　今天我们要讲的就是云采集是如何颠覆整个爬虫世界的。当然，因为我们优采云是当事人，所以笔者可以带大家回顾一下这几年爬虫发展的历史。

　　云采集是在什么背景下诞生的

　　2006年8月9日，谷歌CEO埃里克·施密特（Eric Sc​​hmidt）在搜索引擎大会（SES San Jose 2006））上首次提出了“云计算”的概念。谷歌“云计算”起源于谷歌工程师克里斯托弗比西利亚完成的“谷歌101”项目。

　　直到2008年，中国IT行业才开始谈论云计算。作为2007年计算机专业的我，刚好赶上了这波热潮，但说实话，当时是一个概念，没有人看到真正的产品。，所以我没有弄清楚它是什么。

　　顶多听说过Google的Google Charts、Google Words等等。那个时候，我还不了解Google Charts和Google Words等产品的使用。不是word和excel的网页版吗？不如微软好用，但是经过多年的努力，我意识到微软的word和excel只能在windows上使用。如果你想在苹果电脑上使用它，你必须放弃老板。web版是跨平台的，你习惯了，到处都可以用，还可以把数据保存在云端。

　　随着云计算的诞生，业界也诞生了以下三个层次的服务

　　基础设施即服务（IaaS），

　　平台即服务 (PaaS)

　　软件即服务 (SaaS)。

　　我们可以简单地将SaaS理解为一种在云中提供标准化产品的服务模型。因为它的标准化，无论是一个企业使用，还是百家企业使用，都是一种开发成本。这对产品在一定场景下的通用性提出了非常高的要求，但也大大提高了产品在市场上的竞争力。企业采用的SaaS模式的效果与企业自建信息系统的效果基本一致，但节省了大量资金，从而大大降低了企业信息化的门槛和风险。许多SaaS公司提供月费和年费。这与之前的软件以项目的形式受到*敏*感*词*的欢迎不同，所以在接下来的十年里，它也已经发展成为一种主流的企业服务。形式。

　　市场上有很多优秀的Saas公司，比如协作平台teambition，CRM领域的明道，文档领域的Graphite，表单领域的金数据等等，都是saas领域特别好的公司.

　　优采云 正是在云计算和SaaS趋势的背景下，开创了云采集技术，提供了SaaS运营模式。用户只需在客户端上传采集规则，即可使用云分布式服务进行采集，每个云服务器都会按照采集规则进行采集。于是优采云团队给了这个采集模型，并命名为“云采集”

　　“云采集”为何诞生

　　当优采云出来创业时，市场上主流的采集器是优采云。优采云 他以传统软件运营商的模式运作。他主要销售授权码。如果你想在你的电脑上运行优采云，你必须购买他的授权码。就像我们早期使用Word 2003、2007一样，经常需要上网搜索破解解码。那个时候，优采云就像天上掉馅饼一样，只不过是一个客户端软件而已。

　　优采云创始人刘宝强Keven，由于在国外公司和国外有多年的工作经验，他曾经是某数据方向的研发工程师采集。他想做一个通用的网页采集产品来代替公司编写的许多采集代码。他很清楚各种采集技术的优缺点，以及瓶子的问题和实力。

　　Keven当时也知道优采云采集器的存在。那个时候，他居然因为对手，不敢做出比优采云更厉害的采集产品。太强大了，采集 全世界都没有人知道。但他知道，超越竞争对手往往不是遵循战略，而是颠覆和采用与他们不同的思维方式。

　　根据 Keven 的分析，优采云采集 是从 Internet 请求数据的传统方式。它仍然使用 http post 和 get 请求。这确实是当时网页采集的主流模式，但是这个模式的复杂度非常高。尽管优采云 已经足够简化，但大多数能够理解这个理论的人只有具有开发人员背景才有可能。他知道在大公司里，做数据采集工作的大部分人都没有电脑开发的背景，所以他把自己定位为采集会被普通人使用的产品。采集 产品，通过界面定位，拖拽，可以配置规则。历经了半年的种种困难，他才真正领悟到。

　　但是问题也出现了，因为是通过浏览器加载网页然后获取数据的方式，所以竞品可能一个请求就获取数据，可能要涉及优采云需要加载整个网页 数百个请求使得 优采云 在 采集 上显得很慢。

　　解决了易用性问题后，出现速度问题？

　　如何解决？

　　如果多台机器同时在云端，甚至在规则中拆分URL列表，让云服务器同时分布采集，那么速度可以提高不止N次。这条路是可行的，但这条路带来了另一个问题。

　　解决了速度问题后，还有成本问题？

　　如何解决？

　　Keven 判断，如果租用 10 台云服务器，通过共享经济的概念将成本压平，实际上每个用户每月只需要几百元。数据的价值远大于这项投资，应该有用户愿意为此付费。成本问题应该不是什么大问题，有了摩尔定律，硬件成本只会越来越低。确实如此，包括后期，通过与腾讯云和阿里云的合作，优采云以较低的价格获得了一些折扣，帮助用户将这块的成本降到最低。

　　基于此，2013年Q4，优采云首创*敏*感*词*云采集模式。

　　为什么优采云采集的云才是真正的云采集

　　其实云采集就是这么简单的事情，就是通过云采集服务器的控制，将采集任务分配给各个服务器，控制它的采集通过指令。那为什么，只有优采云的云采集才是真正的云采集。

　　多项技术突破

　　优采云在五年的运营过程中，逐渐突破了云的各种问题采集。其中的很多问题，其实在大数据面前是不会出现的。让我举几个例子：

　　有一些项目吹嘘自己有云采集技术，但当他们真正尝试时，却漏洞百出。比如我们可以控制100台服务器的数据采集，但是如果只有一个数据存储支持导出数据，那么导出数据比采集慢100倍就会陷入困境。只能看到库中的数据，不能移动。

　　有人认为有一些服务器运行在云端采集，称为Cloud采集。但他不知道，当同时有数百台服务器采集时，他需要大数据存储解决方案。只有这样，采集 接收到的数据才能无遗漏地存储到数据库中。并且方便以后检索、查询和导出。

　　由于采集的网页数据状态不同，需要动态分配云端采集，需要做很多前期工作。有时候有些网站他有防御采集的策略，在你采集之前，你能不能判断一下对方网站针对你的一些措施和判断，或者在< @采集在动态调整服务器运行策略的过程中，这也是对一个优秀的云采集方案的考验。

　　2.持续提供稳定的采集和出口服务

　　优采云现在全球有5000多台服务器。现在每天采集和导出的数据被用来计算T来服务于全球各种语言和领域的采集用户。在企业级产品方面，除了技术，能否提供稳定的运维也是一个关键问题。

　　优采云有多个运维后台，可以随时监控整个服务器集群中每个采集服务器的状态。当出现某种情况时，可以灵活开通更多服务器，部署服务器，让客户采集生产环境和数据保持相对稳定。

　　如此庞大的云服务器集群采集是任何竞争对手都无法比拟的，面对如此庞大的集群，优采云依然保持着稳定的采集和出口服务。

　　3.其他资质

　　优采云在中国大数据行业，连续三年在数据采集领域排名第一，足以证明优采云在数据领域的长期积累和贡献采集。