自动抓取网页数据(,,过WindowBuilder插件了,具体使用参考如下链接效果)
优采云 发布时间: 2021-10-01 07:22自动抓取网页数据(,,过WindowBuilder插件了,具体使用参考如下链接效果)
java网页爬取最常用的方式,老司机应该都知道,那就是使用JSOUP。这个工具之前玩过,但是发现一个问题,比如你需要爬取的数据,必须登录才能爬取,如果涉及到验证码,就更难操作了。
很久以前,jsoup就是用来尝试自动下载便图高清图片的。但是他们的登录方式只是第三方登录,单靠jsoup是很难实现的。
后来找到了JXbrower这个工具,可以轻松实现这样的需求。
下面我们就抓着便图网的案例开始详细介绍JX。
先下载
如何下载,这里不详细说明。注意我这里使用的是6.18版本,我必须使用6.18版本
解压下载的压缩包,
获取以下两个jar包
jxbrowser-6.18.jar
jxbrowser-win32-6.18.jar
项目结构如下:
创建一个新文件 teamdev.licenses
Product: JxBrowser
Version: 6.x
Licensed to:
License type: Enterprise
License info: JxBrowser License
Expiration date: 01-01-9999
Support expiration date: NO SUPPORT
Generation date: 01-01-1970
Platforms: win32/x86;win32/x64;mac/x86;mac/x64;linux/x86;linux/x64
Company name: TeamDev Ltd.
SigB: 1
SigA: 1
主要代码
在这里提一下,博主已经安装了WindowBuilder插件。具体使用请参考以下链接
效果如下
这只是一个简单的案例。更强大的功能可以查看他的API。