云采集(2013-12-06版本更新记录2014-05-01)

　　云采集(2013-12-06版本更新记录2014-05-01)

　　我先说一件事：“cloud采集”的概念是我们优采云在国内和国际上率先提出的。

　　2013年优采云自2013年创业以来，开创了自己的云采集技术。我们可以在优采云的版本更新记录中找到踪迹。只是因为我刚开始创业，没有足够的知识产权意识，也没有资金和精力去申请相关的知识产权。现在很多竞争公司都在用他们的cloud采集技术来骗自己的产品，但是很多公司其实我还没有弄明白真正的云采集技术。

　　2013-12-06 版本更新记录

　　2014-05-01 版本更新记录

　　今天我们要讲的是云采集是如何颠覆整个爬虫世界的。当然，因为我们优采云是当事人，所以我可以带大家回顾一下这几年爬虫发展的历史。

　　cloud采集是在什么背景下诞生的

　　2006 年 8 月 9 日，谷歌 CEO Eric Sc​​hmidt 在搜索引擎大会（SES San Jose 2006））上首次提出了“云计算”的概念。 Google 的“云计算”起源于 Google 工程师 Christopher Biscilia 完成的“Google 101”项目。

　　直到 2008 年，中国 IT 行业才开始谈论云计算。作为一名2007年的计算机毕业生，我刚刚赶上了这波热潮，但说实话，当时是一个概念，没有人看到。这是一个真正的产品，所以我还没有弄清楚它是什么。

　　我顶多听说过谷歌的谷歌图表、谷歌词等，当时对谷歌图表、谷歌词等产品的使用并不了解。不是word和excel的网页版吗？不如微软好用，但是经过多年的努力，我意识到微软的word和excel只能在windows上使用。如果你想在苹果电脑上使用它，你必须放弃老板。网页版是跨平台的，你习惯了，到处都可以用，还能把数据保存在云端。

　　随着云计算的诞生，业界也诞生了以下三个层次的服务

　　基础设施即服务 (IaaS)，

　　平台即服务 (PaaS)

　　软件即服务 (SaaS)。

　　我们可以简单地将 SaaS 理解为一种在云中提供标准化产品的服务模型。因为它的标准化，无论是一个企业使用，还是百家企业使用，都是一种开发成本。这对产品在一定场景下的通用性提出了非常高的要求，但也大大提高了产品在市场上的竞争力。企业采用的SaaS模式的效果与企业自建信息系统的效果基本一致，但节省了大量资金，从而大大降低了企业信息化的门槛和风险。许多SaaS公司提供月费和年费。这与之前以项目形式的软件不同，受*敏*感*词*欢迎，所以在接下来的十年里，也演化为主流的企业服务。形式。

　　市场上有很多优秀的Saas公司，比如协作平台teambition，CRM领域的明道，文档领域的Graphite，表单领域的金数据等等，都是特别优秀的公司saas 字段。

　　优采云在云计算和SaaS趋势的背景下，开创云采集技术，提供SaaS运营模式。用户只需要在客户端上传采集规则，然后调用云分布式服务就可以执行采集，每个云服务器都会按照采集规则执行采集。所以优采云团队给了这个采集模式并命名为“云采集”

　　为什么会诞生“Cloud采集”

　　优采云出来创业的时候，市面上主流的采集器就是优采云。 优采云He 以传统软件运营商的模式运作。他主要销售授权码。如果你想在你的电脑上运行优采云，你必须购买他的授权码。就像我们早期使用Word 2003、2007一样，经常需要上网搜索破解解码。那个时候优采云简直是天上掉馅饼，不过他只是个客户端软件。

　　优采云创始人刘宝强keven，由于在国外公司和国外有多年的工作经验，他也是某某data采集方向的研发工程师。他想制作一个通用网页采集产品来代替公司编写的众多采集代码。他很清楚采集各种技术的优缺点，以及存在的问题和瓶力。

　　Keven 当时也知道优采云采集器 的存在。那个时候他其实也不敢做出比优采云牛B的采集产品，因为对手太强了。 采集界没人知道。但他知道，超越竞争对手往往不是遵循战略，而是颠覆和采用与他们不同的思维方式。

　　Keven 分析，优采云采集 是从 Internet 请求数据的传统方式。它仍然是 http post 和 get 请求。这确实是当时网页采集的主流模式，但这种模式很复杂。学位非常高。虽然优采云已经足够简化了，但大多数人之所以能看懂这个理论，也只是因为开发人员的背景。他知道在大公司里，做数据采集工作的大部分人都没有电脑开发背景，所以他把自己的采集产品定位为普通人都能用的采集产品，通过界面定位，拖放，可以配置规则。在各种困难中突破半年，他才真正领悟。

　　但问题也随之而来，因为是通过浏览器加载网页然后获取数据的方式，这样竞品可能一请求就获取数据，而优采云可能由于需要加载整个网页 数百个请求 优采云 在 采集 上似乎很慢。

　　解决了易用性问题后，出现速度问题？

　　如何解决？

　　如果有多台机器同时在云端，甚至规则中的URL列表进行拆分，让云服务器同时分布采集，那么速度可以提高更多比N倍。这条路是可行的，但这条路带来了另一个问题。

　　解决速度问题后，还有成本问题？

　　如何解决？

　　Keven 判断，如果租用 10 台云服务器，通过共享经济的概念将成本压平，实际上每个用户每月只需要几百元。数据的价值远大于这项投资，应该有用户愿意为此付费。成本问题应该不是什么大问题，有了摩尔定律，硬件成本只会越来越低。情况就是这样。后期优采云通过与腾讯云和阿里云的合作，以较低的价格获得了一些折扣，帮助用户将这块的成本降到最低。

　　基于此，优采云在2013年Q4率先开创了*敏*感*词*云采集模型。

　　为什么优采云的云采集才是真正的cloud采集

　　其实云采集就是这么简单的一个东西，就是通过云采集服务器的控制，给每个服务器分配采集任务，它的采集由指令控制。那为什么，只有优采云的云采集才是真正的云采集。

　　多项技术突破

　　优采云在五年的运营过程中逐渐突破了云采集的各种问题。其中的很多问题，其实在大数据面前是不会出现的。让我举几个例子：

　　有一些项目吹嘘自己有云采集技术，但当他们真正尝试时，却漏洞百出。比如我们可以控制100台服务器采集data，但是如果只有一个数据存储支持导出数据，那么导出数据比采集慢100倍就会陷入困境。只能看到库中的数据，不能移动。

　　有人认为云中有一些服务器在运行采集，所以叫云采集。但是不知道采集里面同时有上百台服务器的时候，他背后需要一个大数据存储解决方案。只有这样采集接收到的数据才不会泄露到数据库中。方便以后检索、查询、导出。

　　由于采集的网页数据状态不同，云采集需要动态分配，需要做很多前期工作。有时候网站他有防采集tactics，在你采集之前，能不能先判断一下对方网站的一些措施和判断，或者在采集的过程中动态调整服务器运行策略，这个也是对优秀云采集方案的考验。

　　2.持续提供稳定的采集和出口服务

　　优采云 现在在全球拥有 5000 多台服务器。现在每天采集和导出的数据都是采集用户T-calculation所服务的全球所有语言和领域的用户，对于企业级产品在技术上，提供稳定运维的能力是一个关键问题。

　　优采云拥有多个运维后台，可以随时监控整个服务器集群中每个采集服务器的状态。出现情况时，可以灵活开通更多服务器，部署服务器，让客户的采集生产环境对数据保持相对稳定。

　　如此庞大的云服务器采集集群是任何竞争对手都无法比拟的，而面对如此庞大的集群，优采云依然保持着稳定的采集和出口服务。

　　3.其他资质

　　优采云在中国大数据行业数据采集领域连续三年排名第一，足以证明优采云在数据采集在该领域的长期积累和贡献.