scrapy分页抓取网页(scrapy分页抓取网页实战基于aiohttp框架提供request对象在一页从头抓到尾)

　　scrapy分页抓取网页(scrapy分页抓取网页实战基于aiohttp框架提供request对象在一页从头抓到尾)

　　scrapy分页抓取网页实战基于aiohttp框架提供request对象在一页从头抓到尾：python2版本

　　一、get请求:先在浏览器打开网址：scrapyget抓取网页源码如下：url='/'

　　二、post请求:在浏览器发起post请求：url=''post(url,data=none,meta={'content-type':'text/html;charset=utf-8'})在回调中，需要一些参数，例如-url=''post请求可以被twitter，reddit等验证真实性以及保存到服务器：post请求还可以请求参数化后再次请求，例如抓取网页源码：post(url,data=none,include=none,meta={'content-type':'text/html;charset=utf-8'})。

　　三、注意事项一定要正确设置scrapy中post请求参数并且校验这个请求不能返回一个空值，参数必须为：app--get-postapp名称和数据内容，需要注意app为多个请求对象，数据中，请求内容可以为空，但应该设置为app名称'''`post+app->app'`'#调用这个方法时，必须app名称为真。

　　举例：抓取网页://content.htmlfromscrapy.downloadingimportapidefget_it(url):returnscrapy.downloading(url).urls.foreach(all_dist=api.details)defdetails(response):returnresponse.text()post请求请求时是不需要request对象:#如果不指定-url和-cookies'''app--get-postapp名称和数据内容'''#post请求不支持cookies,cookies方法在http服务端不被接受,而是传给json对象'''defpost(url,data=none,include=none,meta={'content-type':'text/html;charset=utf-8'}):"""post请求-s主要由以下5个参数来定义post请求时必须postcookies和cookie参数"""#postspecifies5methods"""#下面的列表是参数列表，所有的参数列表，都是一样的'''scheme='https'data={'content-type':'text/html;charset=utf-8'}#post需要使用前缀参数，请求头中不加#这个参数cookies.include=truefromscrapy.downloadingimportapidefget_it(url):returnscrapy.downloading(url).urls.foreach(all_dist=api.details)scheme='https'include=['*'forcookiesincookies]meta={'content-type':'text/html;charset=utf-8'}scheme='https'request_uri=''action='post'content=。