网站内容抓取工具(WebScraper如何安装Chrome和Firefox上的安装路径介绍？)

　　网站内容抓取工具(WebScraper如何安装Chrome和Firefox上的安装路径介绍？)

　　官方网站WebScraper号称是头号网页捕获/提取插件，可安装在chrome和Firefox上

　　安装路径：

　　

　　Web Scraper–获取Firefox的此扩展（美国版）

　　

　　您也可以使用浏览器打开官方网站，然后单击“安装”自动选择“安装”

　　刮网器-1刮网扩展

　　

　　您还可以在浏览器右上角找到扩展图标，单击“打开”，下拉菜单，然后找到“管理扩展”，即输入chrome://extensions

　　单击左上角的“打开”，然后在左下角进入web应用商店，打开一个新页面，在其中搜索web scraper，然后安装它

　　有关说明，您最好看一下视频：

　　网络刮刀教程

　　

　　这只是一个YouTube链接，可能有点困难。你可以在互联网上自由搜索，还有教学网站

　　此插件的正常版本是免费的，增强版是收费的。如果你有钱和需要，如果你不花它，你就会浪费它

　　此插件易于使用，因为它集成到浏览器中。非常适合新手和普通非专业技术人员使用。如果您需要更强大和定制的网页数据捕获，您可能需要更专业的工具或您自己的编程

　　下面是我使用此插件的介绍，供您参考

　　--------------------------------------------------------------------?

　　第一步是安装，如上所述

　　步骤2：以chrome为例，在浏览器地址栏中输入：chrome://extensions/

　　检查是否已成功安装并启用web刮板

　　

　　步骤3:F12或Ctrl+Shift+I，打开开发工具：

　　

　　启用时，选择底部显示模式：

　　

　　然后找到最后一个websharper选项卡并单击enter

　　

　　好了，准备工作已经完成了

　　----------------------------------------------------------?

　　对于第一个示例，请根据官网上的教学视频再次操作

　　打开官方测试网站：

　　Web测试站点

　　

　　

　　官方测试网站是一种电子商务网站. 让我们先简单浏览一下。它分为两个层次。第一级是主要类别：电脑和手机；第一个层次是子分类。“计算机和移动电话”下的分类收录特定的产品项，单击“产品项”即为特定的产品信息

　　我们的目标是通过浏览两级目录结构来提取所有产品信息

　　首先设置登录页面、门户URL和登录页面。从这个页面，网络刮板将浏览整个网站。我们需要创建多个选择器以形成树结构，类似于网站构造时的结构

　　这些选择器定义网站如何浏览以及如何提取数据

　　如下图所示，要创建站点地图，请输入地址作为上面的浏览器显示地址：Web scraper test sites

　　

　　完整的数据提取基于站点地图。配置站点地图后，可以保存设置并在下次继续使用。我们需要重新提取并直接执行它

　　

　　创建网站时，它被命名为电子商务

　　

　　此时，它后面有一个数据预览按钮。点击后，发现当前没有数据，需要添加一个选择器

　　

　　对于初始页面中的分层列，为了访问，我们需要以链接的形式创建选择器。单击添加新选择器

　　然后单击选择以链接的形式选择网页元素

　　

　　选择器名为category linkm，类型为link。单击选择并选择两个链接。检查多个。父选择器是登录页面

　　单击“选择”以选择网页上的元素，然后单击“完成选择”

　　要验证选择结果，请单击“图元预览”检查选择是否正确，然后单击“数据预览”检查其工作是否正常

　　然后保存选择器

　　接下来，我们为下一级链接创建一个选择器

　　单击网页上的“计算机”继续以链接的形式创建选择器

　　

　　单击保存。然后创建产品页面的链接选择器。首先单击笔记本电脑进入产品列表页面

　　

　　单击产品链接进入产品页面，创建文本类型选择器，并提取所需数据

　　

　　

　　

　　

　　创建选择器后，让我们来看一看。根据层次关系点击选择器，随时点击选择器后面的数据预览，查看数据是否正常

　　

　　您还可以使用选择器图查看我们创建的选择器的结构

　　

　　

　　单击scratch开始捕获数据，您将看到一个新的网页打开。浏览页面并根据我们设置的登录URL和选择器提取数据

　　

　　休息一下，等待数据提取

　　完成后，弹出页面将关闭并提示

　　然后单击“刷新”以显示提取的数据

　　

　　选择导出到CSV文件

　　

　　?？打开CSV文件，数据如下：

　　

　　好的，CSV文件已经在手了，已经结束了

　　单击浏览以进入数据显示

　　

　　您还可以导出导出站点地图，保存站点地图JSON内容，并在下次创建站点地图时直接导入，这样更方便快捷

　　如果有多个站点地图，则可以在操作之前选择或切换站点地图以进行数据提取