htmlunit抓取动态网页(1.HtmlUnit的学习方法是什么?怎么样?HtmlUnit)HtmlUnit是一个用java编写的无界面浏览器,建模html文档,通过API调用页面,填充表单,点击链接等等。典型应用于测试以及从网页抓取信息。这里选用HtmlUnit来爬取数据主要是为了获取他的js和css.因为这里的网页中图片地址为相对路径,所以在进行下载的时候到页面找了它的绝对路径在下载地址中进行了拼接。将下载的路径和爬取后要存储在本地的页面中的图片标签中的地址要对应,否则找不到。
继续阅读 »