掌握Scrapy基础，轻松统计采集条数！

　　在网络爬虫的世界里，scrapy 无疑是一个行业领袖。它的高效性和*敏*感*词*性使得它成为了数据爬取的首选工具。但是，在使用 scrapy 进行数据爬取时，有一件事情必须要做，那就是统计采集条数。本篇文章将会详细讨论如何用 scrapy 统计采集条数。

　　一、scrapy 的基础知识

　　在开始讨论如何用 scrapy 统计采集条数之前，我们需要先了解一些基础知识。scrapy 是一个 Python 编写的开源网络爬虫框架，它可以快速高效地抓取网站数据，并且支持多种数据格式的导出。scrapy 的核心组件包括引擎、调度器、下载器、爬虫和管道等。

　　二、使用 scrapy 统计采集条数的方法

　　1.使用 FEED_URI 和 FEED_FORMAT

　　在 scrapy 中，我们可以通过设置 FEED_URI 和 FEED_FORMAT 来实现将抓取到的数据保存到文件中。同时，在设置这两个参数时，我们还可以通过指定文件名来实现对采集条数的统计。

　　python

FEED_URI ='file:///tmp/items.json'

FEED_FORMAT ='jsonlines'

　　当 scrapy 抓取完所有页面后，它会将所有抓取到的数据保存到文件/tmp/items.json 中，并且每行一个 JSON 对象。此时，我们只需要查看该文件中的行数即可得知采集的条数。

　　2.使用 item_scraped

　　scrapy 中有一个名为 item_scraped 的信号（signal），它会在每个 Item 被抓取之后触发。我们可以通过*敏*感*词*这个信号来实现对采集条数的统计。

　　python

class MySpider(scrapy.Spider):

name ='myspider'

def __init__(self,*args,**kwargs):

super(MySpider, self).__init__(*args,**kwargs)

self.item_count = 0

def parse(self, response):

#爬虫逻辑

yield item

def item_scraped(self, item, response, spider):

self.item_count += 1

　　在上面的代码中，我们在 Spider 的构造函数中初始化了一个计数器 self.item_count，然后在 parse 方法中抓取数据时，每当一个 Item 被抓取时，item_scraped 方法就会被调用一次，我们可以在这个方法中将计数器加一。

　　3.使用 LOGSTATS_INTERVAL

　　scrapy 中的日志系统（logging system）可以记录很多信息，包括爬虫运行时的状态信息。而 LOGSTATS_INTERVAL 参数则控制着日志系统记录这些信息的时间间隔。如果我们将 LOGSTATS_INTERVAL 设置为1，那么 scrapy 就会在每秒钟记录一次爬虫的状态信息，其中包括采集的条数。

　　python

class MySpider(scrapy.Spider):

name ='myspider'

custom_settings ={

'LOGSTATS_INTERVAL': 1

}

def parse(self, response):

#爬虫逻辑

yield item

　　三、总结

　　在使用 scrapy 进行数据爬取时，统计采集条数是一个必不可少的步骤。本文介绍了三种实现方式：使用 FEED_URI 和 FEED_FORMAT、使用 item_scraped 信号以及使用 LOGSTATS_INTERVAL 参数。无论哪种方式，都可以方便快捷地实现对采集条数的统计。如果您想更深入地了解 scrapy 的使用，不妨试试优采云（www.ucaiyun.com），它是一款基于 scrapy 的云端数据爬取平台，支持自定义爬虫、定时任务等多种功能，并且还提供了 SEO 优化服务，让您的网站获得更好的排名。