一款简单好用的爬虫工具插件

　　一款简单好用的爬虫工具插件

　　软件介绍

　　Web Scraper是一款适合谷歌浏览器使用的网页数据提取插件，通过使用该插件，可以快速，有效，准确的提取页面数据。可任意选择抓取范围，让你想抓就抓随心所欲，并且还能将你所需要的数据转换为CSV文件转出，是一款不可多得的网页内容提取插件。

　　软件特点

　　1、刮多页

　　2、从动态页面

　　3、出口刮数据作为CSV

　　4、*敏*感*词*，出口的Sitemaps

　　5、只依赖于Chrome浏览器

　　6、提取数据(的JavaScript AJAX)

　　7、刮数据存储在本地存储或CouchDB的

　　8、浏览刮数据/> 3、多个数据选择类型

　　插件功能

　　使用多线程快速扫描任何网站

　　在WebScraper主窗口中，必须指定要扫描的网页的URL地址以及用于完成此过程的线程数。你可以借助一个简单的滑块来调整后面的参数。

　　为避免任何不必要的扫描，您可以选择仅抓取单个网页，然后通过简单的鼠标点击开始此过程。在实时查看窗口中，您可以看到每个链接返回的状态消息，这在处理调试任务时可能会很有用。

　　提取各种类型的信息，并将数据导出为CSV或JSON

　　在WebScraper输出面板中，您可以选择希望实用程序从网页中提取的信息类型：URL，标题，描述，与不同类或ID关联的内容，标题，页面内容各种格式(纯文本，HTML或MarkDown)和最后修改日期。

　　您还可以选择输出文件格式(CSV或JSON)，决定合并空格，并在文件超出一定大小时设置警报。如果您选择采用CSV格式，则可以选择何时在列周围使用引号，采用引号替换引号或行分隔符类型。

　　最后但并非最不重要的是，WebScraper还允许您更改用户代理，设置链接数量和来自主页的点击数量的限制，可以忽略查询字符串，并可将根域的子域作为内部页面。

　　如何安装

　　首先当然电脑要有Google Chrome浏览器作为载体，对于浏览器版本没什么要求，安装最新版的即可。

　　Chrome插件有好几种安装方法，最简单的方法是在Google Store中直接下载。

　　使用教程