scrapy.7.1官方文档：基于python2的异步框架，1.x的写法和1

　　scrapy.7.1官方文档：基于python2的异步框架，1.x的写法和1

　　scrapy分页抓取网页原理是找到页码所在的行,然后继续往下抓取就好了关于代码规范请看scrapy1.7.1官方文档

　　我一直认为scrapy是基于python2的异步框架，1.x的写法和1.x非常不同，但是2和2之间的用法是一样的！同步和异步还是要看你需要抓取的页面，1.x时代往往数据都在session内部，这里这个是数据分析基本功，要以自己实际项目为基准了。2.x更多的使用异步，因为将数据传递给spider的时候可以异步地传递到wsgi服务，如果是io请求则正常处理，spider可以处理数据库，epoll或者其他的。

　　3.spider也可以做爬虫，这个倒是没见过有人写成middleware设计的，因为页面容易多次执行，甚至不同的项目可能数据结构也不一样，是很难拿过来进行控制的，一般会找个开源框架来控制，或者参考如pyspider/zopextend·github等。

　　1.可以分页这一块我认为和hadoop类似2.如果java或者python语言基础也没什么问题的话，我推荐3.x版本，

　　因为看到这个问题知乎上很多相关回答，就回答一下吧。分页抓取其实就是根据重定向来抓取网页数据，一般实现原理都差不多，主要分为页面重定向和cookie重定向，下面以httpclient为例子解释一下。分页的抓取其实原理不复杂，只要实现了request模块的cookie重定向，并且指定了参数即可。根据我接触到的分页抓取来看，重定向一般分为两种：连续的提交请求和单次请求下面分别介绍下两种方式1.连续的提交请求重定向方式a.在客户端实现重定向，连续提交多个请求。

　　例如：每次请求之间都存在关联性，这样抓取效率高，后端会对每个请求发送多个数据包，合并数据包即可抓取多个数据包。b.单次的请求如果被定义一个等间隔(默认3毫秒)请求，那么抓取会在不同时间点继续向后端返回相同请求。具体请求的返回结果表中会详细列出以返回的数据包中每个包的返回状态，对应不同的返回信息，同时返回或者在后端返回同一页抓取方式的请求中，请求方式会在request.urls中列出返回的地址和response.statuscode值。

　　2.单次的请求后端发送单次request,a.需要python的selector类，它包含最适合某个请求的选择器，例如book，一个状态字符串就会得到最适合的book.book.headers#请求的状态字符串withopen(file.text,'w')asf:book=pd.read_html(selector.headers)#post请求的状态字符串，返回是post方式book.encoding='utf-8'#error输出输入的error值#lambda函数headers这里说明一。