自动采集编写( 这是简易数据采集系列的第1篇文章。。(一) )

　　自动采集编写(

这是简易数据采集系列的第1篇文章。。(一)

)

　　这是 Easy Data 采集 系列 文章 中的第一篇。

　　一、什么是网络爬虫？

　　网络爬虫，也称为网络蜘蛛、网络机器人和网络跟踪器；就像蜘蛛一样，顾名思义，就是按照一定的规则自动抓取网页信息的程序或脚本。

　　我们熟悉百度、谷歌和其他网络搜索引擎，它们通过数以千计的爬虫程序更新其网站 内容或其他网站 的索引。网络爬虫可以将访问的页面保存到自己的服务器上，以便搜索引擎以后生成索引供用户搜索。

　　最通俗点就是让程序自动为你统计网页上的数据。

　　二、为什么要学习网络爬虫？

　　本文不会讲过于复杂的程序爬虫，只讲web scraper，一个不需要写代码的爬虫工具。一般只要这个工具能看到网页上的信息，99%的都可以抓到。

　　比如你要统计豆瓣电影的前250名名字、影评、评分等，你手动复制粘贴到Excel中，大约需要一个小时。

　　但是如果你知道爬虫，配置爬取规则，程序会自动帮你抓取，几分钟就能搞定。如果数据量很大，则需要更长的时间。

　　需要数据时采集：

　　比如做一些市场调研和营销工作，往往需要采集数据分析，人工复制粘贴重复性工作，效率太低，经常加班，不被领导认可；因此，有必要学会使用一些工具来提高工作效率，减少加班，多花点时间陪伴家人。

　　在职场中，要不断关注行业的技能要求和薪资分布，需要采集数据分析市场需求。

　　股票分析师经常需要采集上市公司的多份相关报告进行分析。

　　非计算机专业的同学需要快速爬取数据进行数据分析才能写毕业论文。学习Python爬虫知识最好的选择就是借助一些爬虫工具来辅助。

　　这些都是生活中遇到的问题。面对这些数据量的分析需求，利用非互联网技术学习一些编程知识并不划算；用于对数据进行排序和分析的浏览器将为我们节省更多思考和决策的时间。

　　三、主角出场时间到了——网络爬虫

　　web scraper 是一个 Chrome 浏览器插件，用于处理网页上的 采集 数据。它是一个封装在程序中的爬虫工具。傻瓜式图形界面操作，适合非专业人士使用。

　　推荐理由：

　　1、门槛够低，只要你电脑上安装了Chrome浏览器即可（其他火狐浏览器也支持，本教程只使用Chrome浏览器）。

　　2、永久免费，无付费功能，无需注册。

　　3、操作简单，鼠标点几下就可以爬取网页，真的是一个不用写代码的爬虫。

　　经测试，可以爬取以下类型网站：

　　四、来吧！让我们安装它！由于 Web Scraper 是 Google Chrome 的附加组件，因此安装它的最简单方法是使用 Chrome 网上应用店。我已经安装了它。

　　但是我相信这个方法大部分朋友都用不上，因为在很久很久以前，国内一般是无法正常访问chrome在线应用商店的；那我怎样才能打开它并正常安装呢？当然是在不寻常的情况下科学上网！哈哈（这个就不多解释了）。

　　别担心，朋友们！

　　我为您准备了另一种安装方法。即在本公众号回复【webs】即可获取下载链接。

　　1、下载解压后会得到一个.crx后缀的文件，就是chrome浏览器插件程序文件。

　　2、重命名并改crx为rar（Mac用户后缀改为zip），点击确定即可得到一个rar压缩文件。

　　3、解压安装，解压后如图

　　4、打开chrome的扩展（设置->更多工具->扩展） chrome://extensions

　　打开右上角的【开发者模式】，点击左上角的【加载解压的扩展】，选择刚刚解压的文件夹。

　　5、显示下图说明我们的chrome浏览器已经成功安装了Web Scraper插件。恭喜！

　　万事开头难，但我们已经解决了最难的骨头。

　　让我们一起期待Web Scraper接下来基础操作的魅力吧！害羞的脸~