网页源代码抓取工具( WebScraper：如何从网页中提取数据的Chrome网页数据提取插件)

　　网页源代码抓取工具(

WebScraper：如何从网页中提取数据的Chrome网页数据提取插件)

　　我要分享的工具是一个Chrome插件，叫做：Web Scraper，这是一个Chrome网页数据提取插件，可以从网页中提取数据。从某种意义上说，你也可以将其用作爬虫工具。

　　也是因为最近在整理36氪文章的一些标签，打算看看其他网站风投相关的标准，所以找了一家公司，名字叫：“Keiu Data” 网站，它提供的一套“行业系统”标签很有参考价值，所以我想抓取页面上的数据，集成到我们自己的标签库中，如红字部分所示下图：

　　如果是规则中显示的数据，也可以用鼠标选中并复制粘贴，但还是需要想办法将其嵌入到页面中。这时候想起之前安装过Web Scraper，就试了一下。使用起来相当方便，采集效率一下子提高了。也给大家安利~

　　一年前在一个三班的公开课上看到了Chrome插件Web Scraper。号称是不懂编程也能实现爬虫爬虫的黑科技，但是在三类的官网上好像找不到。你可以百度：“三课爬虫”还是可以搜索到的。名字叫《人人都能学的数据爬虫类》，不过好像要收费100元。我觉得这个东西可以看网上的文章，比如我的文章~

　　简单的说，Web Scraper是一个基于Chrome的网页元素解析器，可以通过可视化的点击操作，实现自定义区域的数据/元素提取。同时，它还提供了定时自动提取功能，使用该功能可以作为一个简单的爬虫工具。

　　这里顺便解释一下网页提取器爬虫和真正写代码爬虫的区别。使用网页提取器自动提取页面数据的过程有点类似于模拟手动点击的机器人。它首先让您定义要在页面上抓取的元素。，以及抓取哪些页面，然后让机器代人操作；而如果你用Python写爬虫，更多的是用网页请求命令下载整个网页，然后用代码解析HTML页面元素，提取你想要的内容，然后不断循环。相比之下，使用代码会更灵活，但解析的成本会更高。如果是简单的页面内容提取，我也推荐使用Web Scraper。

　　关于Web Scraper的具体安装过程以及完整功能的使用方法，今天的文章不再赘述。一是我只用了自己需要的部分，二是市面上的Web Scraper教程太多了，你可以自己找。

　　这里只是一个实际的过程，给大家简单介绍一下我的使用方法。

　　第一步是创建站点地图

　　打开Chrome浏览器，按F12调出开发者工具。单击最后一个选项卡上的 Web Scraper 后，选择“创建站点地图”菜单并单击“创建站点地图”选项。

　　首先输入你要爬取的网站 URL，以及你自定义的爬取任务的名称。比如我取的名字是：xiniulevel，网址是：

　　第二步，创建抓取节点

　　我要抓取的是一级标签和二级标签，所以先点击进入我刚刚创建的Sitemap，然后点击“添加新选择器”进入抓取节点选择器配置页面，点击“选择”按钮。当你会看到一个浮动层

　　此时，当您将鼠标移入网页时，它会自动以绿色突出显示您悬停的某个位置。这时候你可以先点击一个你想选择的方块，你会发现方块变成了红色。如果要选择同一层级的所有块，可以继续点击相邻的下一个块，工具会默认选中所有同层级的块，如下图：

　　我们会发现下面浮动窗口的文本输入框自动填充了块的XPATH路径，然后点击“完成选择！” 结束选择，浮动框消失，选中的XPATH自动填入下面的Selector行。另外，一定要选择“Multiple”来声明要选择多个块。最后，单击保存选择器按钮结束。

　　第三步，获取元素值

　　完成Selector的创建后，回到上一页，你会发现Selector表多了一行。然后就可以直接点击Action中的Data preview，查看所有想要获取的元素值。

　　上图所示的部分是我添加了两个Selector，一个主标签和一个次标签的情况。点击数据预览的弹窗内容其实就是我想要的，复制到EXCEL就好了，不需要太复杂。自动抓取处理。

　　以上是对Web Scraper的使用过程的简单介绍。当然，我的使用并不是完全高效，因为每次想要获取二级标签时，都需要先手动切换一级标签，然后再执行抓取指令。应该有更好的方法，但对我来说已经足够了。本文文章主要想和大家普及一下这个工具。这不是教程。更*敏*感*词*根据自己的需要去探索吧~

　　怎么样，对你有帮助吗？