excel抓取多页网页数据(webscraper插件到底要怎么用呢？数据的基本流程)

　　excel抓取多页网页数据(webscraper插件到底要怎么用呢？数据的基本流程)

　　在工作中，几乎每个职位都涉及到数据采集的任务。采集本地所有装修公司的名单，采集一个APP的所有评论，采集所有网上相关的文章，批量下载某个网站的指定文件……

　　我不会编程，也不懂爬虫技术。遇到过这种工作，要么CTRL+C，CTRL+V，要么笑着请技术人员帮忙爬取数据。直到遇到神器网络爬虫，没有编程经验，经过几个简单的步骤设置，几分钟就可以快速采集上千条数据，效率高得一飞冲天。

　　Web scraper是一款谷歌爬虫插件，使用非常简单，30分钟即可完全掌握。网络爬虫插件会将数据抓取出来生成excel表格供我们使用。

　　那么如何使用这个插件呢？

　　爬取数据的基本流程

　　step1：下载并安装网络爬虫插件。

　　下载地址： 链接： 密码： t7bm

　　安装方法：参考百度经验文章

　　step2：新建一个数据爬取站点。

　　首先按F12（或点击鼠标右键-勾选）调出控制台，点击“Web Scraper”切换到爬虫插件功能，点击create new sitemap进入新数据爬虫站点创建页面。

　　

　　站点地图名称可以自定义，但必须是英文。起始 url 是我们要抓取的 网站 网站。在这里，我们在豆瓣上爬取了上海近一周的同城活动，将以下链接复制到开始url输入框中，然后点击“创建站点地图”确认创建。

　　

　　step3：选择要提取的页面元素

　　上一步创建成功后，页面会跳转到如下界面，然后我们点击“添加新选择器”，创建一个新的选择器。

　　

　　以提取页面的活动标题为例，设置ID为“标题”（这里可以自定义，在excel中会变成表头），类型为“文本”。

　　

　　选择器是指页面中需要提取的数据区域。点击选择，在网页上滑动鼠标，会出现绿色区域，表示可以选择这些区域的数据。

　　

　　选择一个活动标题，这个区域会被红色边框包围，然后继续选择下一个活动标题。选择两个相同的区域时，插件将自动选择页面上的其他类似元素。点击“完成选择！” 确认选择。

　　

　　我们可以点击“元素预览”查看页面上所有选中的区域，点击“数据预览”预览爬虫将获取的数据。

　　注意：由于我们要选择此页面上的所有活动标题，因此需要选中“多个”复选框。其余内容可以保留默认，点击“保存选择器”保存选择器。

　　至此，我们已经选择了要提取的页面元素，如下图所示。

　　

　　step4：开始爬取数据

　　点击抓取，进入数据抓取开始页面。

　　

　　设置请求间隔和页面加载延迟时间，点击“开始抓取”开始抓取数据。这里的时间间隔主要是为了避免爬虫因为操作过于频繁而被阻塞，无法正常爬取。一般网站默认时间间隔就可以了，有些网站可能需要设置更大的时间间隔。

　　启动后，会打开一个目标URL的窗口，爬虫会按照提取设置的规则，一个一个的爬取。爬取完成后，窗口会自动关闭。

　　

　　step5：下载数据

　　点击“Export data as CSV”跳转到excel数据下载页面，点击“download now”下载。

　　

　　以上五个步骤就是使用网络爬虫爬取数据的整个过程和操作。不管数据多么复杂，都可以按照这个流程和操作爬取对应的数据。

　　高级操作

　　1、如何一次爬取一组数据？

　　刚才我们只爬取活动主题。如果我们想同时抓取活跃话题和活跃时间，我们应该怎么做呢？

　　

　　从上图可以看出，数据的结构，活动主题和活动时间都收录在最外层的方框中，所以在设置选择器的时候，首先创建一个大选择器，让活动主题和活动内容都收录在内同时。

　　

　　注意这里的Type应该设置为“Element”。保存后，点击刚才创建的内容（下图中红框的位置），进入子页面。

　　

　　然后在这个页面上分别创建一个标题选择器和一个时间选择器。它的类型是文本。现在页面的可选择区域仅限于列表区域，所以只需要点击活动标题一次，确认选择即可。不要勾选“多个”。

　　

　　只有通过创建一个元素选择器来收录活动主题和活动时间，爬取的数据才会以一一对应的方式呈现。

　　2、如何一次爬取多页内容？

　　这里根据分页形式的不同有不同的解决方案。

　　1）固定分页的情况下

　　

　　可以注意到豆瓣同城活动的页面是分页的，每页显示10条数据。那么如果我们要爬取前10页的数据，我们应该怎么做呢？

　　如果你仔细看，你会发现第一页的 URL 和第二页的 URL 是有区别的。

　　第一页：

　　第二页：

　　start= 后面的数字是差为 10 的等差数列。

　　那么我们在搭建数据爬取站点的时候，我们用[0-100:10]代替具体的数字来表示数据爬取的页面范围。即：[0-100:10]

　　如果 URL 的等价性为 1，例如 知乎question URL：

　　第一页：

　　第二页：

　　然后省略冒号和后面的算术差异，只写页码范围。如[1-10]

　　表示知乎 主题的第一页到第十页。

　　处理这类数据的重点是观察不同页面的URL变化，然后将页码范围写入URL。

　　2）滚动鼠标自动加载

　　目前很多网站都采用了滚动到底部后自动加载数据的方式，并且它们的URL并没有改变。比如知乎live首页的数据加载方式。

　　

　　这时候我们需要在创建元素选择器的时候将Type设置为“元素向下滚动”。这样，当爬虫工作时，它会自动进行滚动操作，一直爬到没有数据加载为止。

　　

　　3）点击页面底部的“加载更多”按钮

　　设置外层元素元素时，将Type设置为“元素点击”，然后点击“点击选择器”的“选择”按钮，选择页面上的加载更多按钮或图标。

　　为了使页面不断加载，请将“点击类型”设置为“点击更多”并点击多次。

　　接下来，设置停止点击的条件。当该区域的文本内容或 HTML 结构或显示样式发生变化时，不再点击。

　　例如，加载完成后，“加载更多”按钮的文字变为“已加载”，则此处选择Unique Text；如果按钮在加载结束时显示为灰色，请选择唯一 CSS 选择器。

　　

　　3、如何批量抓取和下载图片？

　　将类型设置为图片，插件将抓取所有图片的链接。有两种下载图像的方法。一种是直接勾选Download image，这样爬虫在爬取的时候会自动下载。或者爬取所有图片链接后，使用批量下载工具直接下载。

　　

　　4、如何抓取网页链接？

　　将Type设置为Link，爬虫将爬取该元素上的超链接。

　　如图：当Type为文本时，爬取的数据为立陶宛Angelica Cholina Dance Theatre的Anna Karenina的“Anna Karenina”

　　当Type为Link时，爬取的数据为：，即点击页面链接跳转到下图中红框内的内容。

　　

　　当您需要抓取的链接是下载文件的链接时，例如类似下图中“公告下载”按钮的链接。您可以将类型设置为弹出链接，以便在爬取过程中自动下载文件。

　　

　　5. 如何爬取二级或三级页面的内容？

　　首先在根目录中创建一个选择器。此选择器选择的内容是可以点击进入二级页面的区域。如果该区域有超链接，则将Type设置为Link，否则设置为Element click；然后在这个选择器里面创建一个选择器，选择要爬取的区域。这可以逐级嵌套。

　　如何判断一个区域是否有超链接？将鼠标放在该区域，右键单击，如果有“Open link in...”选项，则该区域有超链接，将Type设置为Link。

　　通过以上设置，我们可以使用谷歌插件抓取80%的网站数据，获取本地的excel文件，然后对数据进行处理分析。

　　以上技能不仅可以用于工作，还可以应用于生活中的查询信息。

　　很多时候网站的设计存在一定的问题，给我们获取信息带来一定的困难。

　　例如，在知乎直播网页上，当你点击一个直播详情然后返回时，页面会回到顶部，需要再次滚动加载；

　　例如，交互栏的活动列表页面没有对活动状态进行分类。一般来说，正在进行的活动是不能参与的，但也不能被过滤掉。

　　这时候如果使用网络爬虫工具，可以在本地抓取数据，然后根据自己的需要快速过滤。

　　掌握了这个插件后，真的能提高工作效率，减少麻烦吗？

　　提高工作效率是肯定的，但减少麻烦却不一定。毕竟下班太早被老板说了~woo woo