抓取网页新闻(看代码urllib2get请求方法爬虫对象代码是post-get-post/x-www-form-urlencoded的区别)抓取网页新闻的时候需要爬虫在浏览器中登录网页,或者爬虫在app中注册登录,还有就是网页页面代码过多需要抓取。上图就明白了,get是动态的发送请求获取数据;post是可以静态的发送一次请求获取数据,或者多次post;page就是网页页面url,get可以获取所有的页面,post也可以获取所有的页面。看代码urllib2get请求方法post请求方法爬虫对象方法
继续阅读 »