htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　之前，Yifeng写了一篇关于使用jsup获取web内容文章的文章：

　　[jsup]HTML解析器，便于访问web内容

　　jsup提供的API非常方便。它完全类似于jQuery操作，可以轻松地抓取网页数据。然而，像jsup这样的普通爬虫工具无法处理JS生成的内容

　　做过HTML开发的人都知道，许多网站现在正在使用Ajax和JavaScript来获取和处理数据。普通的爬虫工具无法处理JS中的内容

　　例如，我们在本地创建一个新的测试网页文件text.html。源代码如下：

　　

main.html

a {

line-height: 30px;

margin: 20px;

}

var datas = [ {

href : "http://www.jianshu.com/p/8d8edf25850d",

title : "推荐一款编程字体，让代码看着更美"

}, {

href : "http://www.jianshu.com/p/153d9f31288d",

title : "Android 利用Camera实现中轴3D卡牌翻转效果"

}, {

href : "http://www.jianshu.com/p/d6fb0c9c9c26",

title : "【Eclipse】挖掘专属最有用的快捷键组合"

}, {

href : "http://www.jianshu.com/p/72d69b49d135",

title : "【IIS】Windows下利用IIS建立网站并实现局域网共享"

} ];

window.onload = function() {

var infos = document.getElementById("infos");

for( var i = 0 ; i < datas.length ; i++)

{

var a = document.createElement("a");

a.href = datas[i].href ;

a.innerText = datas[i].title;

infos.appendChild(a);

infos.appendChild(document.createElement("br"))

}

}

HtmlUnit 测试网页内容！

　　通过IIS发布本地网站（请参阅文章:

　　[IIS]使用IIS建立网站并在Windows下实现局域网共享）

　　浏览器中显示的网页效果如下：

　　网页显示效果.jpg

　　尽管您可以通过web page review元素看到正文收录网页显示中的文本内容：

　　Page review element.jpg

　　但是，它不能通过jsup工具使用！从网页源代码中，我们可以看到，我们需要抓取的内容是在页面显示后通过Ajax和JavaScript加载的

　　那又怎样？使用本文推荐的开源工具htmlunit，它是一个包捕获工件，可以模拟浏览器

　　在官网上下载相应的jar包，并将其添加到项目库中。简单测试代码如下所示：

　　import java.io.IOException;

import java.net.MalformedURLException;

import java.text.ParseException;

import com.gargoylesoftware.htmlunit.BrowserVersion;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;

import com.gargoylesoftware.htmlunit.WebClient;

import com.gargoylesoftware.htmlunit.html.DomElement;

import com.gargoylesoftware.htmlunit.html.DomNodeList;

import com.gargoylesoftware.htmlunit.html.HtmlPage;

/**

* @author 亦枫

* @created_time 2016年1月12日

* @file_user_todo Java测试类

* @blog http://www.jianshu.com/users/1c40186e3248/latest_articles

*/

public class JavaTest {

/**

* 入口函数

* @param args

* @throws ParseException

*/

public static void main(String[] args) throws ParseException {

try {

WebClient webClient = new WebClient(BrowserVersion.CHROME);

HtmlPage htmlPage = (HtmlPage) webClient.getPage("http://localhost/test.html");

DomNodeList domNodeList = htmlPage.getElementsByTagName("a");

for (int i = 0; i < domNodeList.size(); i++) {

DomElement domElement = (DomElement) domNodeList.get(i);

System.out.println(domElement.asText());

}

webClient.close();

} catch (FailingHttpStatusCodeException e) {

e.printStackTrace();

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

}

　　运行后，结果打印在控制台上：

　　Htmlunit test results.jpg

　　如您所见，htmlunit可以获取Ajax和JavaScript加载的内容

　　htmlunit的介绍在官方网站上非常详细。以下内容为益丰翻译的一部分，供您参考：

　　Htmlunit是一个基于Java的浏览器程序，没有图形界面。它可以调用HTML文档，并为开发人员提供API以获取web内容、填写表单、单击超链接等

　　它可以很好地支持JavaScript，并且仍在改进中。同时，它可以解析非常复杂的Ajax库，并在不同配置下模拟chrome、Firefox和IE浏览器

　　Htmlunit通常用于测试目的和检索网站信息

　　Htmlunit提供了许多用于测试web请求和捕获web内容的功能。你可以去官网或其他网站学习和使用它