丰富的采集神器(前市面上一般可以划分为云爬虫和采集器两种：云爬虫)

　　丰富的采集神器(前市面上一般可以划分为云爬虫和采集器两种：云爬虫)

　　市面上常见的爬虫软件一般可以分为云爬虫和采集器两种：

　　所谓云爬虫，就是直接在网页上创建爬虫，无需下载安装软件，运行在网站服务器上，享受网站提供的带宽和24*敏*感*词*；

　　采集器 一般是在本机上下载安装，然后在本机上创建爬虫，使用自己的带宽，受电脑是否关机的限制。

　　当然，以上不包括自己开发的爬虫工具和爬虫框架。

　　其实每个爬虫都有自己的特点，我们可以根据自己的需求来选择。下面简单介绍一下常见的网络爬虫，供大家参考：

　　第一个是云爬虫，目前国内主要有：优采云云爬虫

　　优采云云爬虫

　　官方网站：

　　简介：优采云云是一个大数据应用开发平台，为开发者提供一套完整的数据采集、数据分析和机器学习开发工具，为企业提供专业的数据采集和实时数据监控和数据分析服务。

　　优点：功能强大，涉及云爬虫、API、机器学习、数据清洗、数据销售、数据定制和私有化部署等；

　　 纯云端运行，跨系统操作无压力，隐私保护，可隐藏用户IP。

提供云爬虫市场，零基础使用者可直接调用开发好的爬虫，开发者基于官方的云端开发环境开发并上传出售自己的爬虫程序；

领先的反爬技术，例如直接接入代理IP和自动登录验证码识别等，全程自动化无需人工参与；

丰富的发布接口，采集结果以丰富表格化形式展现；

　　缺点：它的优点在一定程度上也变成了它的缺点，因为它是一个面向开发者的爬虫开发系统，提供了丰富的开发功能。网站看起来很技术也很专业，虽然官方也提供了云爬虫市场等现成的爬虫产品，开放给广大爬虫开发者，丰富爬虫市场的内容，但事实并非如此对于零技术基础的用户来说容易理解，所以有一定的使用门槛。

　　免费与否：免费用户没有采集功能和导出限制，不需要积分。

　　有开发能力的用户可以自行开发爬虫，实现免费成果。没有开发能力的用户需要从爬虫市场寻找免费的爬虫。

　　然后是采集器。目前中国主要包括以下几个（百度/谷歌搜索采集器，去除广告，排名靠前）：

　　优采云采集器：

　　官方网站：

　　简介：优采云采集器是一款网页数据采集、处理、分析、挖掘软件。可以灵活快速的抓取网页上零散的信息，通过强大的处理功能，准确地挖掘出需要的数据。

　　优点：国内老牌采集器，经过多年积累，拥有丰富的采集功能；

　　 采集速度比较快，接口比较齐全，支持PHP和C#插件扩展；

支持多种数据格式导出，可以进行数据替换等处理。

　　缺点：产品越老，越容易陷入自身固有的体验，优采云很难摆脱这个问题。

　　 虽说功能丰富，但是功能都堆砌在那里，用户体验不好，让人不知道从何下手；

学会了的人会觉得功能强大，但是对于新手而言有一定使用门槛，不学习一段时间很难上手，零基础上手基本不可能。

只支持Windows版本，不支持其他操作系统；

　　是否免费：说是免费，但实际上免费功能有很多限制，只能导出单个txt或html文件。基本上可以说它不是免费的。

　　优采云采集器：

　　官方网站：

　　简介：优采云采集器是一个可视化采集器，内置采集模板，支持各种网页数据采集。

　　优点：支持自定义模式，可视化采集操作，简单易用；

　　 支持简易采集模式，提供官方采集模板，支持云采集操作；

支持防屏蔽措施，例如代理IP切换和验证码服务；

支持多种数据格式导出。

　　缺点：功能使用门槛高，很*敏*感*词*限制在本地采集，云端采集收费较高；

　　 采集速度较慢，很多操作都要卡一下，云端采集说10倍提速但是并不明显；

只支持Windows版本，不支持其他操作系统。

　　是否免费：号称免费，但实际上导出数据需要积分，可以做任务赚取积分，但一般情况下，基本都需要购买积分。

　　优采云采集器：

　　官方网站：

　　简介：优采云采集器是原谷歌搜索技术团队基于人工智能技术开发的新一代网页采集软件。该软件功能强大，操作极其简单。

　　优点：支持智能采集模式，输入URL智能识别采集对象，无需配置采集规则，操作非常简单；

　　 支持流程图模式，可视化操作流程，能够通过简单的操作生成各种复杂的采集规则；

支持防屏蔽措施，例如代理IP切换等；

支持多种数据格式导出；

支持定时采集和自动化发布，发布接口丰富；

支持Windows、Mac和Linux版本。

　　缺点：软件上线时间不长，部分功能还在完善中。暂时不支持云端采集功能

　　是否免费：完全免费，不限制采集数据和手动导出采集结果，无需积分。