htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　之前一峰写过一篇关于使用Jsoup抓取网页内容的文章文章：

　　[Jsoup] HTML解析器，轻松访问网页内容

　　Jsoup提供的api非常方便，完全类似于JQuery操作，轻松抓取网页数据。但是Jsoup等普通爬虫工具的缺点是无法处理js生成的内容。

　　做过Html开发的都知道，现在很多网站都大量使用ajax和JavaScript来获取和处理数据，普通的爬虫工具已经无法处理js中的内容了。

　　比如我们在本地新建一个测试web文件text.html，源码如下：

　　

main.html

a {

line-height: 30px;

margin: 20px;

}

var datas = [ {

href : "http://www.jianshu.com/p/8d8edf25850d",

title : "推荐一款编程字体，让代码看着更美"

}, {

href : "http://www.jianshu.com/p/153d9f31288d",

title : "Android 利用Camera实现中轴3D卡牌翻转效果"

}, {

href : "http://www.jianshu.com/p/d6fb0c9c9c26",

title : "【Eclipse】挖掘专属最有用的快捷键组合"

}, {

href : "http://www.jianshu.com/p/72d69b49d135",

title : "【IIS】Windows下利用IIS建立网站并实现局域网共享"

} ];

window.onload = function() {

var infos = document.getElementById("infos");

for( var i = 0 ; i < datas.length ; i++)

{

var a = document.createElement("a");

a.href = datas[i].href ;

a.innerText = datas[i].title;

infos.appendChild(a);

infos.appendChild(document.createElement("br"))

}

}

HtmlUnit 测试网页内容！

　　通过IIS发布本地网站（参考易峰之前写的文章：

　　【IIS】Windows下，使用IIS建立网站，实现局域网共享），

　　网页在浏览器中显示的效果如下：

　　

　　网页展示效果.jpg

　　虽然通过网页评论元素可以看到body收录了网页显示中的文本内容：

　　

　　网络评论元素.jpg

　　但是，通过Jsoup工具根本无法使用！在网页的源码中可以看到，我们需要抓取的内容是在页面显示后通过ajax和JavaScript加载的。

　　那么该怎么办？使用本文推荐的开源工具——HtmlUnit，一款可以模拟浏览器的抓包神器！

　　在官网下载对应的jar包，添加到工程项目的lib中。简单的测试代码如下：

　　import java.io.IOException;

import java.net.MalformedURLException;

import java.text.ParseException;

import com.gargoylesoftware.htmlunit.BrowserVersion;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;

import com.gargoylesoftware.htmlunit.WebClient;

import com.gargoylesoftware.htmlunit.html.DomElement;

import com.gargoylesoftware.htmlunit.html.DomNodeList;

import com.gargoylesoftware.htmlunit.html.HtmlPage;

/**

* @author 亦枫

* @created_time 2016年1月12日

* @file_user_todo Java测试类

* @blog http://www.jianshu.com/users/1c40186e3248/latest_articles

*/

public class JavaTest {

/**

* 入口函数

* @param args

* @throws ParseException

*/

public static void main(String[] args) throws ParseException {

try {

WebClient webClient = new WebClient(BrowserVersion.CHROME);

HtmlPage htmlPage = (HtmlPage) webClient.getPage("http://localhost/test.html");

DomNodeList domNodeList = htmlPage.getElementsByTagName("a");

for (int i = 0; i < domNodeList.size(); i++) {

DomElement domElement = (DomElement) domNodeList.get(i);

System.out.println(domElement.asText());

}

webClient.close();

} catch (FailingHttpStatusCodeException e) {

e.printStackTrace();

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

}

　　运行后，控制台打印结果：

　　

　　HtmlUnit 测试结果.jpg

　　可见HtmlUnit可以抓取AJAX和JavaScript加载的内容。

　　HtmlUnit的介绍在官网上很详细。以下内容为易峰翻译的部分内容，供大家参考：

　　HtmlUnit 是一个基于 Java 的浏览器程序，没有图形界面。它可以调用HTML文档并提供API，让开发者可以像在普通浏览器上操作一样访问网页内容、填写表单、点击超链接等。

　　它可以很好地支持 JavaScript，并且仍在改进中。同时，它可以解析非常复杂的AJAX库，模拟不同配置下的Chrome、Firefox和IE浏览器。

　　HtmlUnit 通常用于测试目的和检索 网站 信息。

　　HtmlUnit 提供了很多用于测试网络请求和抓取网页内容的功能。可以到官网或者其他网站学习使用。