【大数据工具】*敏*感*词*大数据采集工具基础介绍

　　如今，大数据日渐成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特性，以及剖析方式思路的扩充，传统统计工具已然无法应对。

　　工欲善其事，必先利其器。众多新的软件剖析工具作为深入大数据洞察研究的重要推动， 也成为数据科学家所必须把握的知识技能。

　　然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要按照实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探求。

　　为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件。

　　1、传统剖析/商业统计

　　Excel、SPSS、SAS 这两者对于研究人员而言并不陌生。

　　Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其便捷好用，功能也能满足好多场景须要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点使好多研究人员尤为头晕)。这三年Excel在大数据方面(如地理可视化和网路关系剖析)上也做出了一些提高，但应用能力有限。

　　SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的精典统计剖析(如回归、方差、因子、多变量分析等)处理。

　　SPSS轻量、易于使用，但功能相对较少，适合常规基本统计剖析SAS功能丰富而强悍(包括绘图能力)，且支持编程扩充其剖析能力，适合复杂与高要求的统计性剖析。上述三个软件在面对大数据环境出现了各类不适，具体不再赘言。但这并不代表其没有使用价值。如果使用传统研究方法论剖析大数据时，海量原创数据资源经过前期处理(如聚类和统计汇总等)得到的中间研究结果，就太适宜使用它们进行进一步研究。

　　2、数据挖掘

　　数据挖掘作为大数据应用的重要领域，在传统统计剖析基础上，更指出提供机器学习的方式，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

　　SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网路、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助剖析方面也相当便捷，这一点尤其适宜商业环境下的快速挖掘。不过就处理能力而言，实际觉得无法应对亿级以上的数据规模。

　　另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特点更关注科学与工程估算领域。而着名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果剖析也比较麻烦，更适宜学术界或有数据预处理能力的使用者。

　　国内的大数据商业软件有例如优采云采集器之类功能丰富，插件齐全的大数据采集工具。

　　优采云采集器(www.ucaiyun.com) 是一个供各大主流文章系统，论坛系统等使用的多线程内容采集发布程序。使用优采云采集器，你可以顿时构建一个拥有庞大内容的网站。系统支持远程图片下载，图片批量水印，Flash下载，下载文件地址侦测，自制做发表的cms模块参数，自定义发表的内容等有关采集器。对于数据的采集其可以分为两部份，一是采集数据，二是发布数据。

　　功能特性：

　　1采集功能健全且不限网页与内容，任意文件格式都可下载

　　2具有智能多辨识系统以及可选的验证方法保护安全

　　3支持PHP和C#插件扩充，方便更改处理数据

　　4具有同义，近义词替换、参数替换，伪原创必备技能