网页抓取工具(chrome的safari扩展程序和火狐浏览器的autoprefixer扩展工具)
优采云 发布时间: 2022-02-27 02:06网页抓取工具(chrome的safari扩展程序和火狐浏览器的autoprefixer扩展工具)
网页抓取工具有哪些?前段时间做爬虫的时候,网页抓取用得最多的工具就是chrome浏览器了,这不chrome浏览器新增了可以抓取web站点的功能,可以称得上是抓取最常用的工具。在众多的浏览器中,我觉得用的最顺手的就是chrome的safari扩展程序和火狐浏览器的autoprefixer。不管是chrome的safari扩展程序和autoprefixer还是火狐的googleautoprefixer,网站抓取、中文网站识别都是大有用处。
还有些图片工具也可以使用chrome来抓取(比如图片下载工具feedshare等),如果有些网站不支持chrome的插件,那不妨试试下面这些工具。1、curlhost:。这是一个在chrome的web服务里面实现对网页的抓取,它支持目前大部分的web服务,并且都是可以抓取javascript,css,json等等这些网页格式的资源。
当然,对于国内的网站来说还是需要翻墙。官网地址:,有这个:、awesomescrapingvideo抓取基本包括scrapshot、scroop、files、、taobaoprefixer等等,这些awesomescrapingvideo抓取的网站页面为中文,直接在chrome中抓取即可。
官网地址:、kafkaclientchrome插件-在线抓取,下载爬虫实现我目前在windows环境下用,简单方便,支持多地文件名抓取(包括数据库,例如:kafkajdb.properties等)和python抓取。官网地址:、windnettrasportextensiontoolsforchromewindows平台和linux平台的实现,可以对chrome浏览器内页面进行抓取,并且提供了一些模拟错误页面的功能。
官网地址:,可以提供抓取各种语言的语法错误的页面,包括javascript。官网地址:/#chrome-generator在用awesomescrapingvideo和scroop等工具抓取网页格式错误的时候,要尝试着使用下windnettrasportextension。
windnettrasportextension官网地址:,google其他扩展程序的使用。比如:googleautoprefixer网站识别以及可以抓取在safari中。官网地址:,不提供本工具,请自行下载使用。官网地址:,目前共有三个版本:googlejs/cssautoprefixer(14年上架)、blizzardbannerpreview、searchengineautoprefixer(2015年上架)。
推荐安装前两个,本人今年6月份刚刚升级到的googlejs/cssautoprefixer。我们刚刚收集了一份python抓取google结果的api文档,大家可以用chrome访问这里。官网地址:,分别提供以下两种方式:1.skiprowscrollslider提供了一个抓取python2及python3网页的api。官网地址:-scrolls-shifter2.googleautoprefixer提供。