数据剖析采集器：优采云

　　以前，我仍然用python来爬去固定网站的信息，不管是静态还是动态，编码才能实现好多东西，包括框架的使用更能彰显python的便捷，but，在实际工作中，你看见的是哪些？数据剖析有时候并不需要计算机功力，不会有那个画了好多时间做一件事情的打算。人们仍然在探求，这些基础的东西反复出来，肯定有被人用烦过，从而为了一劳永逸，去做了一些工具。今天就来谈谈这些采集器吧。

　　官网：

　　作为同时使用优采云采集器和写爬虫的非技术的莫名其妙喜欢自己寻思技术的互联网营运喵。。。我来聊聊心得看法。

　　优采云有一些优势，比如学习成本低，可视化流程，快速搭建采集系统。能直接导入excel文件和导入到数据库中。降低采集成本，云采集提供10个节点，也能省事不少。

　　不好的地方就是，即使看似很简单了，而且还有更傻瓜化的smart模式，但是上面的坑只有用的多的人才清楚。关于这个我在我的博客里简单写了写，不过说实话心得太多，还没仔细整理。

　　首先上面的循环都是xpath元素定位，如果用单纯的傻瓜化点击定位的话，很生硬，大批量采集页面的时侯很容易出错。另外用这个工具的，因为便捷，小白太多，成天有人问普通问题，他们都不会看页面结构，也不懂xpath，很容易出现采集不全，无限翻页等问题。

　　但是优采云采集器的ajax加载，模拟手机页面，过滤广告，滚动至页面底端等功能堪比利器，一个勾选才能搞定。写代码很麻烦的，实现这种功能费力。

　　优采云毕竟只是工具，自由度肯定完败编程。胜在便捷，快速，低成本。

　　优采云判断语录较弱，无法进行复杂判定，也未能执行复杂逻辑。还有就是优采云只有企业版能够解决验证码问题，一般版本未能接入打码平台。

　　还有一点就是没有ocr功能，58同城和赶集网采集的电话号码都是图片格式，python可以用开源图象辨识库解决，对接进去辨识便可。

　　除非对技术有很高要求，否则我认为优采云采集器挺好用，比优采云采集器好用，虽然效率没这么高，但是比起费力学习和研究数据包，还是用这个省事。我没事也会在优采云群里解答一些规则编制的问题。

　　优采云采集器解析json数据必须中级版本，真烦，优采云效率低一些并且可采集范围广。但是优采云采集器有58同城插件。。。

　　如果你是小白，很想市事情。我来给你瞧瞧好玩的东西。

　　除了以上100多个网站的218个模板外，我们后续就会再制做上百个网站数百个模板，让用户自此采集更多网站无需配置采集规则。

　　这些模板对应的网站，都是用户大多数想要采集的网站，以大众点评为例，大多数都在采集商家列表，商家详情，团购详情等等，优采云先帮你们把这种采集规则配置好，大家只须要填入一些参数（如城市入口地址，翻多少页等等）即可进行采集，页面上所有数组几乎就会收录，如遇见不需要的删掉即可。

　　并且有些模板还帮用户做了特殊处理，进行了云优化与云突破，可以在云端无限采集，无需害怕封IP等防采集策略。

　　简易采集界面也对采集字段，参数配置，样例数据做了详尽的说明，保证每位点都说到位，并且营运朋友都会对规则做定期的维护与更新，最后达到一个疗效，你只需点击一个“立即使用”，即可获取数据。

　　重点呀，某人说数据采集器用了好多，并推荐使用优采云，给出了各个热门搜集器的优缺点：

　　1.优采云采集器：

　　一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的剖析处理，准确挖掘出所需数据。

　　特点：采集不限网页，不限内容；

　　分布式采集系统，提高效率；

　　支持PHP和C#插件扩充，方便更改处理数据。

　　2.优采云云采集：

　　一款新颖的云端在线智能爬虫/采集器，基于优采云分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据，帮助顾客快速轻松地获取大量规范化数据。

　　特点：直接接入代理IP，无需设置便可防止因IP被限制访问引起的难以采集的问题；

　　自动登入验证码识别，网站自动完成验证码输入，无需人工看管；

　　可在线生成图标，采集结果以丰富表格化方式诠释；

　　本地化隐私保护，云端采集，可隐藏用户IP。

　　3.优采云采集器：

　　一套专业的网站内容采集软件，支持各种峰会的贴子和回复采集，网站和博客文章内容抓取，分峰会采集器、CMS采集器和博客采集器三类。

　　特点：支持对文章内容中的文字、链接批量替换和过滤；

　　可以同时向网站或峰会的多个版块一起批量发帖；

　　具备采集或发贴任务完成后自动关机功能；

　　4.三人行采集器：

　　一套可以把他人网站、论坛、博客的图文内容轻松采集到自己的网站、论坛和博客的站长工具，包括峰会注册王、采集发帖王和采集搬家王三类软件。

　　特点：采集需要注册登录后才会查看的峰会贴子；

　　可以同时向峰会的多个版块一起批量发帖；

　　支持对文章内容中的文字、链接批量替换和过滤。

　　5.集搜客：

　　一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘功略、行业资讯和前沿科技等。

　　特点： 可以抓取手机网站上的数据；

　　支持抓取在指数图表上漂浮显示的数据；

　　会员互助抓取，提升采集效率。

　　6.优采云采集器：

　　一款网页采集软件，可以从不同的网站获取规范化数据，帮助顾客实现数据自动化采集，编辑，规范化，从而减少成本，提高效率。

　　特点：容易上手，完全可视化图形操作；

　　内置可扩充的OCR插口，支持解析图片中的文字；

　　采集任务手动运行，可以根据指定的周期手动采集。