httpunit 抓取网页(抓一个今日头条的首页内容解决方案-苏州安嘉)

　　httpunit 抓取网页(抓一个今日头条的首页内容解决方案-苏州安嘉)

　　不知道大家在使用jsoup的过程中是否遇到过爬取内容，发现有些网页中的内容是通过javascript异步加载的，导致我们的爬虫空手返回（只抓到一个网页的外框） .

　　当我第一次遇到这个问题时，我想到了两个解决方案：

　　在等待网页异步加载后，使用类似于 Python 中延迟加载的方法对异步加载的网页进行爬取。使用一种特殊的方法，让爬取的网页的框架模拟里面的JavaScript代码的执行，最终到达完整的网页。

　　在搜索引擎的帮助下，决定使用方案二来解决这个问题。没有更好的第三方库搜索解决方案1。在java中使用解决方案1解决这个问题的朋友希望与下一个讨论，不胜感激。

　　案例很简单，抓取一条今日头条的首页内容。你可以看一下今日头条的首页，里面的内容是异步加载的。

　　添加jsoup和htmlunit依赖

org.jsoup

jsoup

1.10.2

net.sourceforge.htmlunit

htmlunit

2.25

　　首先，我们单独使用jsoup来解析今日头条的首页

　　String url = "https://www.toutiao.com/";

Connection connect = Jsoup.connect(url);

Document document = connect.get();

System.out.println(document);

　　↑ 这里只能获取网页的框架内容，不能获取首页的新闻内容

　　接下来，我们使用htmlunit来尝试

　　//构造一个webClient 模拟Chrome 浏览器

WebClient webClient = new WebClient(BrowserVersion.CHROME);

//屏蔽日志信息

LogFactory.getFactory().setAttribute("org.apache.commons.logging.Log",

"org.apache.commons.logging.impl.NoOpLog");

java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(Level.OFF);

//支持JavaScript

webClient.getOptions().setJavaScriptEnabled(true);

webClient.getOptions().setCssEnabled(false);

webClient.getOptions().setActiveXNative(false);

webClient.getOptions().setCssEnabled(false);

webClient.getOptions().setThrowExceptionOnScriptError(false);

webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);

webClient.getOptions().setTimeout(5000);

HtmlPage rootPage = webClient.getPage(url);

//设置一个运行JavaScript的时间

webClient.waitForBackgroundJavaScript(5000);

String html = rootPage.asXml();

Document document = Jsoup.parse(html);

　　这为我们提供了一个运行 JavaScript 的完整源页面