java爬虫抓取动态网页(java爬虫抓取动态网页，不需要知道那些动态代码。)

　　java爬虫抓取动态网页(java爬虫抓取动态网页，不需要知道那些动态代码。)

　　java爬虫抓取动态网页，不需要知道那些动态网页代码。答案在excel里都有。把那些二进制网址，拖入excel表格，点击右键，就可以得到网页地址了，在python里实现也很简单。原理：传入url_returnstr="/xxx"url=url_return.split("")[2]。

　　传统方法：http转成curlrequest转成curl

　　等同于谷歌爬虫，

　　两者大同小异，都是通过url库来爬取网页，只是在传统爬虫中，需要知道url存在的情况，在数据抓取时就需要处理；而数据抓取后，再通过url库来进行解析。至于两者最大的区别，应该就是前者使用python，后者使用urllib或urllib2吧。

　　前两种说简单，你也可以用requests抓，后面两种抓包无门槛，有概念了，别不懂就乱抓了。

　　现在的urllib都是getpost，将需要爬取的网址先请求然后返回xml。python常用requests库能够解析html文件。这里getpost大体是分出两个步骤：1.将请求的html上传到服务器，这是个单纯的get请求，参数为你填的url；2.post请求，请求是按照提交资料时候的格式(如手机号)，提交参数。

　　我们常看到的一个爬虫，都是为get请求：为curl解析：最后返回html：请问题主，如果不知道curl库怎么用？请参考：这里有一个爬虫的例子。