htmlunit 抓取网页( 2018-09-27栏目我正在使用动态网页中的HtmlUnit数据,)

　　htmlunit 抓取网页(

2018-09-27栏目我正在使用动态网页中的HtmlUnit数据,)

　　javascript-使用htmlunit获取动态网页

　　时间2018-09-27

　　柱子

　　我在动态网页中使用 HtmlUnit 来抓取数据。动态网页使用无限滚动来动态获取数据，就像Facebook的新闻提要一样。我用下面这句话来模拟向下滚动事件：

　　webclient.setJavaScriptEnabled(true);

webclient.setAjaxController(new NicelyResynchronizingAjaxController());

ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)");

webclient.waitForBackgroundJavaScript(10000);

myHtmlPage=(HtmlPage)sr.getNewPage();

　　但是好像myHtmlPage还是和上一个一样，就是myHtmlPage没有附加新的数据，所以只能抓取页面的前几条数据。感谢您的帮助！

　　我正在寻找同样的东西。我只能发现它不是滚动事件（90% 确定）。有一个 JS 负责加载页面，可能对你有帮助。

　　相关文章