htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　htmlunit 抓取网页(使用本文中推荐的开源工具——HtmlUnit，一款能够模拟浏览器的抓包神器！)

　　之前，一峰写过一篇关于使用Jsoup爬取网页内容的文章文章：

　　[Jsoup] HTML解析器，轻松获取网页内容

　　Jsoup提供的api非常方便，完全类似于JQuery操作，轻松抓取网页数据。但是像Jsoup这样的普通爬虫工具的缺点是不能处理js生成的内容。

　　做过Html开发的都知道现在很多网站都是用ajax和JavaScript来获取和处理数据，普通爬虫工具已经无法处理js中的内容了。

　　比如我们在本地新建一个测试web文件text.html，源码如下：

　　 main.html a { line-height: 30px; margin: 20px; } var datas = [ { href : "http://www.jianshu.com/p/8d8edf25850d", title : "推荐一款编程字体，让代码看着更美"}, { href : "http://www.jianshu.com/p/153d9f31288d", title : "Android 利用Camera实现中轴3D卡牌翻转效果"}, { href : "http://www.jianshu.com/p/d6fb0c9c9c26", title : "【Eclipse】挖掘专属最有用的快捷键组合"}, { href : "http://www.jianshu.com/p/72d69b49d135", title : "【IIS】Windows下利用IIS建立网站并实现局域网共享"} ];window.onload = function() { var infos = document.getElementById("infos"); for( var i = 0 ; i < datas.length ; i++) { var a = document.createElement("a"); a.href = datas[i].href ; a.innerText = datas[i].title; infos.appendChild(a); infos.appendChild(document.createElement("br")) }} HtmlUnit 测试网页内容！

　　通过IIS发布本地网站（参考之前逸峰写的文章：【IIS】在Windows下使用IIS搭建网站实现局域网共享），网页展示的效果浏览器如下：

　　网页显示效果.jpg

　　虽然通过网页检查元素，可以看到body中收录了网页显示的文字内容：

　　网络评论元素.jpg

　　但是，它根本无法通过 Jsoup 工具获得！从网页源码中可以看出，我们需要爬取的内容是在页面显示出来后通过ajax和JavaScript加载的。

　　那么该怎么办？使用本文推荐的开源工具——HtmlUnit，一个可以模拟浏览器的抓包神器！

　　在官网下载对应的jar包，添加到项目工程的lib中。简单的测试代码如下：

　　import java.io.IOException;import java.net.MalformedURLException;import java.text.ParseException;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;import com.gargoylesoftware.htmlunit.WebClient;import com.gargoylesoftware.htmlunit.html.DomElement;import com.gargoylesoftware.htmlunit.html.DomNodeList;import com.gargoylesoftware.htmlunit.html.HtmlPage;/** * @author 亦枫 * @created_time 2016年1月12日 * @file_user_todo Java测试类 * @blog http://www.jianshu.com/users/1c40186e3248/latest_articles */public class JavaTest { /** * 入口函数 * @param args * @throws ParseException */ public static void main(String[] args) throws ParseException { try { WebClient webClient = new WebClient(BrowserVersion.CHROME); HtmlPage htmlPage = (HtmlPage) webClient.getPage("http://localhost/test.html"); DomNodeList domNodeList = htmlPage.getElementsByTagName("a"); for (int i = 0; i < domNodeList.size(); i++) { DomElement domElement = (DomElement) domNodeList.get(i); System.out.println(domElement.asText()); } webClient.close(); } catch (FailingHttpStatusCodeException e) { e.printStackTrace(); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } }}

　　运行后，控制台打印出结果：

　　HtmlUnit测试结果.jpg

　　可以看出，HtmlUnit 能够抓取 AJAX 和 JavaScript 加载的内容。

　　HtmlUnit的介绍在官网上很详细。以下内容为易峰翻译的部分内容，供大家参考：

　　HtmlUnit 是一个基于 Java 的浏览器程序，没有图形界面。它可以调用 HTML 文档并提供 API，使开发人员可以像在普通浏览器上一样访问 Web 内容、填写表单、单击超链接等。

　　它对 JavaScript 的支持非常好并且还在改进中，可以解析非常复杂的 AJAX 库，模拟不同配置下的 Chrome、Firefox 和 IE 浏览器。

　　HtmlUnit 通常用于测试目的和检索 网站 信息。

　　HtmlUnit 提供了很多测试网络请求和爬取网页内容的功能。可以去官网或者其他网站学习使用。