js 爬虫抓取网页数据(一个爬虫动态生成的网页是什么？一般来说怎么办 )

　　js 爬虫抓取网页数据(一个爬虫动态生成的网页是什么？一般来说怎么办

)

　　最近公司准备写一个爬虫项目，遇到了一些js或者ajax动态生成的网页。在网上找了下，发现webdriver比较靠谱。至于htmlunit测试了一些网站直接抛出异常，可能对js支持不是特别好。

　　WebDriver一般有两种模式：本地驱动和远程驱动。由于爬虫最终会部署到linux服务器上，所以只能命令行运行，而且好像不能安装浏览器，所以本地驱动的进程无法工作，只能尝试远程驱动好在找了一个phantomjs的webdriver，在linux下可以不带接口运行，所以选择了它作为处理js动态生成网页的解决方案。

　　下载 去官网：，找到对应的版本下载。解压并安装。进入bin目录执行phantomjs，需要带上启动参数，执行远程驱动的地址和端口。 phantomjs --webdriver 127.0.0.1:10025.

　　java 连接：

　　1WebDriver driver = new RemoteWebDriver("http://127.0.0.1:10025", DesiredCapabilities.phantomjs());

2driver.get("http://www.iteye.com");

3