scrapy分页抓取网页(豆瓣社科小组，我们将首页地址作为_url参数，从页面源码找到)

　　scrapy分页抓取网页(豆瓣社科小组，我们将首页地址作为_url参数，从页面源码找到)

　　2015-06-23 更新：

　　之前写这篇文章的时候，还没有遇到具体的场景。只是觉得有这么一个方法，就写下来了。

　　我今天刚好满足了这个需求。为了抓取BBS的内容，版块首页只显示标题、作者和发布时间。需要做的就是按时间过滤，每天抓取最新的内容。使用Rule规则提取URL后，只保留链接地址，丢失上下文信息（发布时间）。如果要过滤，只能在抓取链接内容后获取时间，这实际上造成了不必要的浪费。使用本文文章的方法可以在抓取链接前进行过滤，避免抓取无用数据。

　　第一部分scrapy爬虫开始（3）-使用规则实现多页爬取给出了使用CrawlSpider的Rule实现多页爬取的方法，其实直接使用BaseSpider也可以实现多页爬取爬行。

　　具体思路：以我们豆瓣群为例。豆瓣社科群，我们以首页地址作为start_url参数，从页面源码中查找剩余页面，如下：

　　可以提取每个页面的地址，多页面抓取的思路是将地址封装成一个Request作为回调函数parse的返回值（不影响item的返回值），并指定这些页面地址对应的回调函数。由于首页和分页在形式上完全一致（首页本身也是一个页面），所以可以直接指定parse作为回调函数。

　　代码显示如下：

　　from scrapy.spider import BaseSpider

from douban.items import DoubanItem

from scrapy.http import Request

class GroupSpider(BaseSpider):

name = "douban"

allowed_domains = ["douban.com"]

start_urls = ["http://www.douban.com/group/explore?start=0&tag=%E7%A4%BE%E7%A7%91"]

#默认的回调函数

def parse(self, response):

print "+"*20, response.url

item = DoubanItem()

sel = response.xpath("//div[@class='group-list']/div[@class='result']")

for s in sel:

info = s.xpath("div/div/h3/a/text()").extract()[0]

item["groupName"] = info

yield item

#处理当前页面里的分页 -- 封装为Request返回

sel = response.xpath("//div[@class='paginator']/a/@href").extract()

for s in sel:

print response.url.split("?")[1].split("&")[0], "->", s.split("?")[1].split("&")[0]

yield Request(s, callback=self.parse)

　　之前的都是CrawlSpider，换成了不支持Rule的BaseSpider；同时在原有回调函数的基础上增加了分页处理。首先是提取地址，然后打印语句，后面会讲，最后返回Request。

　　写这段代码的时候，感觉有一个问题：由于每个页面指定的回调函数都是parse，相当于每个页面都提取了一个页面地址，这样实际上每个页面地址都返回了N次。, 那么scrapy在实际处理中会不会对每个地址处理N次呢？更严重的是，会不会陷入死循环？比如从第一页提取第二页-》处理第二页，提取第一页-》处理第一页，提取第二页-》……

　　让我们运行程序看看。现在，让我们看看我们的打印语句：“->”代表当前页面地址，后面是从当前页面中提取的页面地址。为了简化输出，仅提取用于标识页面的“开始”。范围。

　　操作结果如下：

　　class GroupSpider(BaseSpider):

++++++++++++++++++++ http://www.douban.com/group/explore?start=0&tag=%E7%A4%BE%E7%A7%91

start=0 -> start=20

start=0 -> start=40

start=0 -> start=60

start=0 -> start=80

start=0 -> start=100

start=0 -> start=120

start=0 -> start=140

start=0 -> start=160

++++++++++++++++++++ http://www.douban.com/group/explore?start=40&tag=%E7%A4%BE%E7%A7%91

start=40 -> start=0

start=40 -> start=20

start=40 -> start=60

start=40 -> start=80

start=40 -> start=100

start=40 -> start=120

start=40 -> start=140

start=40 -> start=160

++++++++++++++++++++ http://www.douban.com/group/explore?start=20&tag=%E7%A4%BE%E7%A7%91

start=20 -> start=0

start=20 -> start=40

++++++++++++++++++++ http://www.douban.com/group/explore?start=60&tag=%E7%A4%BE%E7%A7%91

start=20 -> start=60

start=20 -> start=80

start=20 -> start=100

start=60 -> start=0

start=60 -> start=20

++++++++++++++++++++ http://www.douban.com/group/explore?start=100&tag=%E7%A4%BE%E7%A7%91

++++++++++++++++++++ http://www.douban.com/group/explore?start=80&tag=%E7%A4%BE%E7%A7%91

++++++++++++++++++++ http://www.douban.com/group/explore?start=140&tag=%E7%A4%BE%E7%A7%91

start=20 -> start=120

start=20 -> start=140

start=20 -> start=160

start=60 -> start=40

start=60 -> start=80

start=60 -> start=100

start=100 -> start=0

start=100 -> start=20

start=80 -> start=0

start=80 -> start=20

start=140 -> start=0

start=140 -> start=20

++++++++++++++++++++ http://www.douban.com/group/explore?start=160&tag=%E7%A4%BE%E7%A7%91

start=160 -> start=0

++++++++++++++++++++ http://www.douban.com/group/explore?start=120&tag=%E7%A4%BE%E7%A7%91

start=120 -> start=0

start=60 -> start=120

start=60 -> start=140

start=60 -> start=160

start=100 -> start=40

start=100 -> start=60

start=100 -> start=80

start=80 -> start=40

start=80 -> start=60

start=80 -> start=100

start=140 -> start=40

start=140 -> start=60

start=140 -> start=80

start=160 -> start=20

start=160 -> start=40

start=160 -> start=60

start=120 -> start=20

start=120 -> start=40

start=120 -> start=60

++++++++++++++++++++ http://www.douban.com/group/explore?start=0&tag=%E7%A4%BE%E7%A7%91

start=100 -> start=120

start=100 -> start=140

start=100 -> start=160

start=80 -> start=120

start=80 -> start=140

start=80 -> start=160

start=140 -> start=100

start=140 -> start=120

start=140 -> start=160

start=160 -> start=80

start=160 -> start=100

start=160 -> start=120

start=120 -> start=80

start=120 -> start=100

start=120 -> start=140

start=0 -> start=20

start=0 -> start=40

start=0 -> start=60

start=160 -> start=140

start=120 -> start=160

start=0 -> start=80

start=0 -> start=100

start=0 -> start=120

start=0 -> start=140

start=0 -> start=160

　　输出有点太多了，如您所见：

　　1. 每个页面地址确实返回了多次；

　　2. 没有陷入死循环，没有重复处理；

　　3. 处理过程乱序；

　　这表明scrapy本身已经进行了重复数据删除，并且它使用线程进行数据提取操作。

　　好了，任务完成了。使用CrawlSpider的规则感觉更方便。