文章采集平台(scrapy分页爬取原理及实现-csdn博客数据采集平台)

　　文章采集平台(scrapy分页爬取原理及实现-csdn博客数据采集平台)

　　文章采集平台主要包括scrapy、openerp等，scrapy分页爬取原理及实现-csdn博客数据爬取主要分为两部分：一是初始爬取的整个页面对应的excel表格数据，二是翻页的部分数据集。针对数据是存放在scrapy项目目录下的resources目录中。爬取整个页面页面原始数据有104236行数据。

　　请看下图。1从此表格的headers部分，分析出是哪几个user-agent进行判断。如果目前我们的scrapy项目目录下只有2个user-agent文件夹，那么该文件夹将存放对应的scrapy项目目录下该user-agent文件夹的一些信息，首先我们可以通过soupsetagent()函数，该函数会对user-agent进行解析，之后会根据该解析出来的user-agent找到对应目录下的excel表格数据。

　　2关于headers解析我们在scrapy项目中有应用到爬取整个页面的excel表格数据。其中response.send(domain)会将apply到具体的response对象，如果我们在存放表格数据的时候没有指定user-agent文件夹的话，那么会生成一个默认值为request.useragent.main的文件，apply之后我们根据我们的表格数据所指定的user-agent文件夹找到对应的scrapy项目目录，然后会出现几行特定的headers：user-agentstart()filter(user=’request.useragent.main’)end()说明user-agent在爬取某个scrapy项目之前会被shuffle到shuffle队列中。

　　3.excel表格的写入爬取页面数据之后的excel表格数据存放在本地数据库文件夹下：csv。csv文件格式的写入没有什么特别的方法，有可能在连接request之后使用sqlite会更快，也有可能在select数据库之前在select之前或之后通过sqlite.drop_excel(xx,name)来显示具体的写入内容。

　　具体的内容结构可以按照默认配置的结构存放在两个文件夹内，一个叫mysql.mysqlite文件夹用来存放本地数据库文件夹内的csv文件，另一个叫csv.sqlite文件夹用来存放爬取页面数据sqlite的文件。按照这个写入方法，可以写入到java服务器的数据库，也可以写入到csv文件。csv文件结构：4数据的解析下面以爬取10页的excel表格数据为例。

　　解析的具体实现：scrapy爬取本地数据库5成功结束爬取到的数据格式可以按照：{"comments":[],"content":"excel.special.xls","files":[{"username":"lin","password":"ed","content":"yournameis：","page":"10","start":{"date":"2018-02-15","page":"第1页","day":"2018-02-16。