网页css js 抓取助手(六款爬虫工程师常用的chrome插件-爬虫插件)

　　网页css js 抓取助手(六款爬虫工程师常用的chrome插件-爬虫插件)

　　作为一名爬虫工程师，你必须编写一些可以沿网络爬行的“蜘蛛”程序，并将获取的信息保存起来。但是每个写爬虫的人都知道，写爬虫的大部分时间都不是在代码中。基本上，主要时间花在页面解析上。因此，有一套可以大大节省劳动力的有用工具。下面小编就为大家介绍爬虫工程师常用的六款chrome插件。

　　爬虫工程师常用的Chrome插件之一：XPath Helper XPath Helper插件介绍 xpath helper插件是一款免费的chrome爬虫网页解析工具。可以帮助用户解决获取xpath路径时无法正常定位等问题。这个插件主要可以帮助你提取和查询代码，在各种类型的网站上按shift键选择你想查看的页面元素。同时，您还可以编辑查询代码，编辑后的结果将立即出现在其旁边的结果框中。

　　

　　XPath Helper 插件功能

　　XPath Helper 可以支持通过单击网页上的元素来生成 xpath。整个爬取使用了xpath、正则表达式、消息中间件、多线程调度框架（参考）。xpath 是一个结构化的网页元素选择器，支持列表和单节点数据获取。其优点是可以支持常规的网页数据爬取。

　　如果我们要查找某个元素或某个元素块的xpath路径，可以按住shift键移动到这个块，上框会显示这个元素的xpath路径，解析后的文本内容会显示在对了，我们可以自己改变xpath路径，程序会自动显示对应的位置，可以帮助我们判断我们的xpath语句是否写对了。

　　爬虫工程师常用的Chrome插件二：Toggle JavaScript插件介绍 Toggle JavaScript是一款谷歌Chrome插件，可以帮助用户使用chrome插件切换javascript运行。在chrome中安装Toggle JavaScript插件后，用户可以通过插件Button快速切换chrome的javascript功能。当用户在访问网页时被javascript“骚扰”时，他可以果断使用Toggle JavaScript禁用js的运行。

　　

　　切换 JavaScript 插件功能

　　1.全局 JavaScript 主开关

　　2. 禁用 JavaScript 时可靠地重新加载页面

　　爬虫工程师常用的Chrome插件三：FeHelper FeHelper插件介绍WEB前端助手：FeHelper是一款chrome浏览器插件。收录一些前端实用的工具，如字符串编解码、代码美化、JSON格式查看、二维码*敏*感*词*、编码规范检测、光栅规范检测、网页性能检测、页面取色等web前端常用功能结束发展。

　　

　　FeHelper 插件功能

　　1、字符串编解码（Unicode/UTF8/Base64/MD5）

　　2、代码美化工具（HTML/CSS/JS/XML/SQL）

　　3、代码压缩工具（HTML/CSS/JS）

　　4、Json 字符串格式化（粘贴文本，手动格式化）

　　5、Json页面美化（页面自动检测并格式化，强制打开）

　　6、 二维码*敏*感*词*（支持当前页面生成二维码）

　　7、页面颜色工具（滑动鼠标随意取色）

　　8、js正则表达式（正则测试，常用正则表达式列表）

　　9、时间（戳）转换（Unix戳与本地时间的转换）

　　10、 图片Base64（任何图片转换为DataURI格式）

　　11、编码规范检测（HTML/CSS/JS规范检测）

　　12、页面性能检测（页面响应时间、Header监控）

　　13、Ajax调试功能（需要在控制台使用）

　　爬虫工程师常用的Chrome插件四： User-Agent Switcher User-Agent Switcher插件介绍 User-Agent Switcher插件是一个浏览器，可以在其他浏览器访问时访问网站 网站的一种“错觉”@>。当开发者需要使用多个浏览器来模拟访问网站时，可以使用User-Agent Switcher插件来完成Chrome浏览器中的所有请求。用户只需在 Google Chrome 中安装 User-Agent。Switcher 插件可以使用多种浏览器代理模式，在不离开 Chrome 的情况下访问当前的 网站。

　　

　　爬虫工程师常用的Chrome插件之五： X-Forwarded-For HeaderX-Forwarded-For Header插件介绍 有了这个扩展，你可以快速更新X-Forwarded-For HTTP header进行各种测试。

　　

　　爬虫工程师常用的Chrome插件：SwitchyOmegaSwitchyOmega插件介绍 SwitchyOmega是Chrome浏览器用来切换和管理不同代理的Chrome插件。该插件是用于代理配置管理的插件，类似于IE中Internet选项中的代理设置。SwitchyOmega 是 SwitchySharp 的升级版，可以替代 SwitchyPlus 或 Proxy Switchy。SwitchyOmega首次安装时，会检查是否有SwitchySharp，如果有，会自动升级设置，无需手动配置。如果您使用的是非谷歌应用商店版本或无法自动升级，您可以手动将SwitchySharp中的设置文件导出并导入与配置兼容的SwitchyOmega中。

　　

　　SwitchyOmega 插件功能

　　1、自动检测卸载的元素，通过弹出菜单一键设置使用代理。

　　2、支持需要用户名和密码认证的代理服务器。

　　3、更灵活的代理配置：代理配置文件、多种自动切换模式、多种规则列表。

　　4、增加多种切换条件类型，对原有切换条件进行改进。

　　5、 PAC 脚本生成和切换性能优化。

　　6、全新的选项页面和下拉菜单，更好的用户体验。

　　7、许多错误修复和改进。测试更充分。