文章列表第一页的结构及对应的含义和对应含义(图)

　　文章列表第一页的结构及对应的含义和对应含义(图)

　　需要环境：

　　安装模块

　　建议使用anaconda安装新模块，在命令行输入：

　　conda install -c conda-forge scrapy

conda install -c anaconda pymysql

　　创建项目

　　创建一个Scrapy项目，在命令行中输入：

　　scrapy startproject myblog

　　抓取信息

　　我们需要的数据是文章标题、文章链接、发布日期、文章内容，在item.py中定义我们要爬取的字段

　　import scrapy

class MyblogItem(scrapy.Item):

# define the fields for your item here like:

title = scrapy.Field()

href = scrapy.Field()

date = scrapy.Field()

content = scrapy.Field()

pass

　　通过观察发现CSDN的文章列表链接为：

　　用户名/文章/列表/页码

　　所以我们创建了 spider/list_spider.py 来抓取和分析网页。此时的目录结构为：

　　myblog

│ items.py

│ middlewares.py

│ pipelines.py

│ settings.py

│ __init__.py

│

├─spiders

│ │ list_spider.py

│ │ __init__.py

│ │

│ └─__pycache__

│ list_spider.cpython-36.pyc

│ __init__.cpython-36.pyc

│

└─__pycache__

settings.cpython-36.pyc

__init__.cpython-36.pyc

　　在list_spider.py中编写ListSpider类来构造访问请求：

　　import scrapy

class ListSpider(scrapy.Spider):

name = "list"

allowed_domains = ["blog.csdn.net"]

start_urls = [

"https://blog.csdn.net/qq_42623428/article/list/4",

]

　　然后编写parser()函数来解析网页：

　　有很多方法可以从网页中提取数据。 Scrapy 使用基于 XPath 和 CSS: 的表达机制。有关选择器和其他提取机制的信息，请参阅。

　　以下是 XPath 表达式及其对应含义的示例：

　　 def parse(self, response):

for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:

url = item.xpath("h4/a/@href").extract()

title = item.xpath("h4/a/text()").extract()[1].strip()

date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()

print([url, title, date])

　　打印后可以看到如下信息：

　　 'date': '2018-09-30 17:27:01',

'title': '银行业务队列简单模拟',

'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}

　　使用物品

　　该对象是一个自定义的 Python 字典。您可以使用标准字典语法来获取每个字段的值。 （field是我们之前用Field赋值的属性）：

　　>>> item = MyblogItem()

>>> item['title'] = 'Example title'

>>> item['title'] = 'Example title'

　　为了返回抓取到的数据，我们最终的代码是：

　　import scrapy

from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):

name = "list"

allowed_domains = ["blog.csdn.net"]

start_urls = [

"https://blog.csdn.net/qq_42623428/article/list/4",

]

def parse(self, response):

for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:

item = MyblogItem()

item['url'] = item.xpath("h4/a/@href").extract()

item['title'] = item.xpath("h4/a/text()").extract()[1].strip()

item['date'] = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()

yield item

　　跟踪链接

　　接下来需要通过获取到的url地址访问每个文章title对应的文章内容，然后保存在item['content']中。以下是实现该功能的spider的改进版：

　　import scrapy

from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):

name = "list"

allowed_domains = ["blog.csdn.net"]

start_urls = [

"https://blog.csdn.net/qq_42623428/article/list/4",

]

def parse(self, response):

for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:

item = MyblogItem()

item['url'] = data.xpath("h4/a/@href").extract()[0]

item['title'] = data.xpath("h4/a/text()").extract()[1].strip()

item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]

url = data.xpath("h4/a/@href").extract()[0]

request = scrapy.Request(url, callback=self.parse_dir_contents)

request.meta['item'] = item

yield request

#在某些情况下，您如果希望在回调函数们之间传递参数，可以使用Request.meta

def parse_dir_contents(self, response):

item = response.meta['item']

item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]

yield item

　　这样我们就可以保存我们需要的所有信息了，但是还有一个问题：我们刚才做的就是在博客目录的某个页面下载文章采集，但是如果我们的博客目录有多个页面，我们要删除所有文章采集吗？

　　在文章列表的第一页的基础上，我们可以通过改变最后一个数字来访问对应的页码，从1开始，判断下一页内容为空时停止。我们会再次对蜘蛛进行改进。

　　import scrapy

from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):

name = "list"

allowed_domains = ["blog.csdn.net"]

start_urls = [

"https://blog.csdn.net/qq_42623428/article/list/1",

]

def parse(self, response):

for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:

item = MyblogItem()

item['url'] = data.xpath("h4/a/@href").extract()[0]

item['title'] = data.xpath("h4/a/text()").extract()[1].strip()

item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]

url = data.xpath("h4/a/@href").extract()[0]

request = scrapy.Request(url, callback=self.parse_dir_contents)

request.meta['item'] = item

yield request

next_url = response.url.split('/')

next_url[-1] = str(int(next_url[-1])+1)

next_url = '/'.join(next_url)

yield scrapy.Request(next_url, callback=self.isEmpty)

def isEmpty(self, response):

content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()

if content == [] :

return self.parse(response)

def parse_dir_contents(self, response):

item = response.meta['item']

item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]

yield item

　　保存数据

　　在命令行输入命令：

　　scrapy crawl list -o items.json

　　此命令将使用 JSON 格式对抓取到的数据进行序列化并生成 items.json 文件。

　　同步数据项管道

　　为了保证采集到达的数据与CSDN博客同步，当博客内容更新时，必须重新抓取数据。但是再次爬取的数据与保存的数据重叠，所以我们需要在同步到WordPress之前验证新爬取的数据。所以我们需要使用Item Pipeline。

　　在Spider中采集到Item后，会传递给Item Pipeline，一些组件会按照一定的顺序处理Item。

　　每个项目管道组件（有时称为项目管道）都是一个实现简单方法的 Python 类。它们接收 Item 并通过它执行一些操作，同时决定 Item 是继续通过管道，还是被丢弃不再处理。

　　以下是项目管道的一些典型应用：

　　PyMySQL

　　PyMySQL 是 Python3.x 版本用于连接 MySQL 服务器的库。

　　项目地址参考文档