浅析网路数据的商业价值和采集方法

　　浅析网路数据的商业价值和采集方法

　　据赛迪顾问统计，在技术领域中近来10,000条专利中常见的关键词中，数据采集、存储介质、海量数据、分布式成为技术领域最热词汇。其中，数据采集是提及最多的词汇。

　　数据采集是进行大数据剖析的前提也是必要条件，在整个数据借助流程中抢占重要地位。数据采集方式分为三种：系统日志采集法、网络数据采集法以及其他数据采集法。随着Web2.0的发展，整个Web系统囊括了大量的价值化数据,目前针对Web系统的数据采集通常通过网路爬虫来实现,本文将对网路数据和网路爬虫进行系统描述。

　　什么是网路数据

　　网络数据，是指非传统数据源，例如通过抓取搜索引擎获得的不同方式的数据。网络数据也可以是从数据聚合商或搜索引擎网站购买的数据，用于改善目标营销。这种类型的数据可以是结构化的，也可以是非结构化的（更有可能的），可以由网路链接，文本数据，数据表，图像，视频等组成。

　　网络构成了现今提供给我们的大部分数据，根据许多研究可知，非结构化数据抢占了其中的80％。尽管这种方式的数据较早被忽视了，但是竞争激化以及须要更多数据的需求促使必须使用尽可能多的数据源。

　　网络数据可以拿来干哪些

　　互联网拥有数十亿页的数据，网络数据作为潜在的数据来源，对于行业的战略性业务发展来说拥有巨大的借助潜力。

　　以下举例说明网路数据在不同行业的借助价值：

　　除此之外，在《How Web Scraping is Transforming the World with its Applications》文章中详尽得列举出网路数据在制造业、金融研究、风险管理等诸多领域的借助价值。

　　如何搜集网路数据

　　目前网路数据采集有两种方式：一种是API，另一种是网路爬虫法。API又叫应用程序插口，是网站的管理者为了使用者便捷，编写的一种程序插口。目前主流的社交媒体平台如新浪微博、*敏*感*词*以及Facebook等均提供API服务，可以在其官网开放平台上获取相关DEMO。但是API技术虽然受限于平台开发者，为了减少网站（平台）的负荷，一般平台均会对每晚插口调用上限做限制，这给我们带来极大的不便利。为此我们一般采用第二种形式——网络爬虫。

　　利用爬虫技术采集网络数据

　　网络爬虫是指根据一定的规则手动地抓取万维网信息的程序或则脚本。该方式可以将非结构化数据从网页中抽取下来，将其储存为统一的本地数据文件，并以结构化的形式储存。它支持图片、音频、视频等文件或附件的采集，附件与正文可以手动关联。

　　在互联网时代，网络爬虫主要是为搜索引擎提供最全面和最新的数据。在大数据时代，网络爬虫更是从互联网上采集数据的有利工具。

　　网络爬虫原理

　　网络爬虫是一种根据一定的规则，自动地抓取网路信息的程序或则脚本。网络爬虫可以手动采集所有其才能访问到的页面内容，为搜索引擎和大数据剖析提供数据来源。从功能上来讲，爬虫通常有网路数据采集、处理和储存 3 部分功能，如图所示：

　　网络爬虫采集

　　网络爬虫通过定义采集字段对网页中的文本信息、图片信息等进行爬取。并且在网页中还收录一些超链接信息，网络爬虫系统正是通过网页中的超链接信息不断获得网路上的其他网页。网络爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL，爬虫将网页中所须要提取的资源进行提取并保存，同时提取出网站中存在的其他网站链接，经过发送恳求，接收网站响应以及再度解析页面，再将网页中所需资源进行提取......以此类推，通过网页爬虫便可将搜索引擎上的相关数据完全爬取下来。

　　数据处理

　　数据处理是对数据（包括数值的和非数值的）进行剖析和加工的技术过程。网络爬虫爬取的初始数据是须要“清洗”的，在数据处理步骤，对各类原创数据的剖析、整理、计算、编辑等的加工和处理，从大量的、可能是杂乱无章的、难以理解的数据中抽取并推论出有价值、有意义的数据。

　　数据中心

　　所谓的数据中心也就是数据存储，是指在获得所需的数据并将其分解为有用的组件以后，通过可扩充的方式来将所有提取和解析的数据储存在数据库或集群中，然后创建一个容许用户可及时查找相关数据集或提取的功能。

　　网络爬虫工作流程

　　如下图所示，网络爬虫的基本工作流程如下。首先选定一部分*敏*感*词* URL。

　　总结

　　当前，网络大数据在规模与复杂度上的快速下降对现有IT构架的处理和估算能力提出了挑战，据IDC发布的研究报告，预计到2020年，网络大数据总数将达到35ZB,网络大数据将成为行业数字化、信息化的重要推手。