推荐一个网页小工具WebScraper第三步获取元素值
优采云 发布时间: 2021-05-01 03:12推荐一个网页小工具WebScraper第三步获取元素值
我要共享的工具是一个称为Chrome的插件:Web Scraper,这是一个可以从网页中提取数据的Chrome网页数据提取插件。从某种意义上讲,您还可以将其用作采集器工具。
第一步是创建站点地图
打开Chrome浏览器,按F12调用开发人员工具,Web Scraper在最后一个选项卡上,单击,然后选择“创建站点地图”菜单,然后单击“创建站点地图”选项。
推荐Web抓取工具Web Scraper
首先输入要抓取的网站 URL,以及您自定义的抓取任务的名称。例如,我的名字是:xiniulevel,URL是:
第二步是创建抓取节点
我想获取第一级标签和第二级标签,因此首先单击我刚刚创建的站点地图,然后单击“添加新选择器”以进入获取节点选择器配置页面,然后单击“在“按钮”页面上选择“”,然后您会看到一个浮动层出现
推荐Web抓取工具Web Scraper
这时,将鼠标移到网页上时,它将自动以绿色突出显示您悬停的位置。此时,您可以先单击要选择的块,然后您会发现该块变为红色。如果要选择同一级别的所有块,则可以继续单击它旁边的下一个块,该工具将默认选择同一级别的所有块,如下所示:
推荐Web抓取工具Web Scraper
我们将发现下面的浮动窗口的文本输入框自动填充了该块的XPATH路径,然后单击“完成选择!”。要结束选择,浮动框将消失,并且所选的XPATH将自动填充到下面的选择器行中。另外,请确保选择“多个”以声明要选择多个块。最后,单击“保存”选择器按钮结束。
推荐Web抓取工具Web Scraper
第三步是获取元素值
完成选择器的创建后,返回上一页,您将在选择器表中找到额外的一行,然后可以直接单击操作中的数据预览以查看所有元素值你想得到。
推荐Web抓取工具Web Scraper
推荐Web抓取工具Web Scraper
上图中显示的部分是我添加了两个选择器(主要标签和次要标签)的情况。单击数据预览的弹出窗口的内容实际上是我想要的,只需将其直接复制到EXCEL,就不需要什么对于自动爬网处理来说太复杂了。
上面是对使用Web Scraper的过程的简要介绍。当然,我的用法并不完全有效,因为每次我要获取第二级标签时,都必须先手动切换第一级标签,然后执行抓取指令。应该有更好的方法,但是对我来说已经足够了。本文文章主要是希望与您一起推广此工具。这不是教程。应该根据您的需要探索更*敏*感*词*〜