数理课堂|互联网时代数据素养的培养 ——从数据获取开始

　　数理课堂|互联网时代数据素养的培养 ——从数据获取开始

　　大数据时代下，人类社会的数据正以前所未有的速度增长。问卷调查法、访谈法等传统的数据收集方法，因样本容量小、信度低等局限已无法满足高质量研究的需求，相比较而言，网络爬虫获取到的海量数据更为真实、全面，在信息繁荣的互联网时代更为行之有效。因此学会网络爬虫也逐渐成为大数据时代信息收集的必备技能。

　　1

　　什么是网络爬虫？

　　网络爬虫通过遍历互联网络，把网络中的相关网页全部抓取过来，这体现了爬的概念。爬虫如何遍历网络呢，互联网可以看做是一张大图，每个页面看做其中的一个节点，页面的一个个超级链接就是蛛丝，将无数页面连接起来，而网络爬虫，则会沿着一根根蛛丝，爬遍每一个节点……

　　2

　　网络爬虫能干吗？

　　举个栗子：某天的午后，老板突然让你将某网上所有的A股行情信息全部保存到一个Excel文件里，以便浏览。你点开了某网A股行情，惊喜地发现有一百多页，一条一条复制，显然又累又笨，但是老板要看，你又不得不从，……很多时候，我们会需要做这样的工作：将某一类型的文档全部下载保存下来，然后进行分析。一个一个点击鼠标，显然不现实。那么，就做一个网络爬虫吧，自动化地把需要的东西保存下来。

　　3

　　网络爬虫很难学？

　　爬虫听起来很酷炫，总是非常吸引学习者，但是不是要写好多枯燥的代码？今天，小编就给大家介绍一个不需要写代码的简单爬虫工具——优采云。

　　1系统登录

　　首先打开优采云采集器→点击快速开始→新建任务，进入到任务配置页面：

　　

　　2创建任务

　　选择任务组,自定义任务名称和备注;

　　上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

　　

　　选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

　　下面创建循环翻页。点击上图浏览器页面中的Next按钮，在弹出的对话框中选择循环点击下一页；

　　

　　翻页循环创建完毕之后，点击下图中的保存；

　　由于需要循环点击上图浏览器中电影名称,再提取子页面中的数据信息,所以还需要做一个循环采集列表.点击上图中第一个循环项，在弹出的对话框中选择创建一个元素列表以处理一组元素。

　　

　　接下来在弹出的对话框中选择添加到列表

　　

　　第一个循环项添加好之后选择继续编辑列表。

　　

　　接下来以同样的方式添加第二个循环项。

　　

　　我们添加第二个循环项的时候可以看上图，这时候页面中其他元素都被添加进来了。这是因为我们添加的是具有两个相似特征的元素，系统会智能的将页面中其他具有相似特征的元素都添加进来。然后选择创建列表完成→点击下图中的循环

　　

　　如上操作之后，循环采集列表就完成了。系统会在页面右上方显示本页面添加进来的所有循环项。

　　由于每一页都需要循环采集数据，所以我们需要将这个循环列表拖入到翻页循环里。

　　注意流程是从上网页执行的，所以这个循环列表需要放到点击翻页的前面，否则会漏掉第一页的数据。最终流程图如下图所示：

　　

　　如上操作之后，循环采集列表就完成了。系统会在页面右上方显示本页面添加进来的所有循环项。

　　选择上图中第一个循环项,再选择点击元素.进入到第一个子链接里面。

　　下面进行数据字段的提取,点击上图流程设计器中的提取数据，再选择浏览器中需要提取的字段,然后在弹出的选择对话框中选择抓取这个元素的文本;

　　上述操作之后,系统会在页面的右上方显示我们将要抓取的字段;

　　

　　接下来配置页面中其他需要抓取的字段,配置完成之后修改字段名称;

　　

　　修改完成之后点击上图中的保存按钮,再点开图中的数据字段可以看到,系统将会显示最终的采集列表;

　　

　　点击上图中的下一步→下一步→启动单机采集(调试模式),进入到任务检查页面,以确保任务的正确性;

　　

　　3数据的采集与导出

　　点击开始单机采集,系统将会在本地执行采集流程并显示最终采集的结果；

　　附优采云下载地址：