scrapy分页抓取网页(Python大火，为了跟上时代，试着自学了下某位作者)
优采云 发布时间: 2021-10-20 07:14scrapy分页抓取网页(Python大火，为了跟上时代，试着自学了下某位作者)
Python 近来大受欢迎。为了跟上时代的步伐，我尝试着自学。Scrapy 是一个高级的 Python 爬虫框架。不仅收录爬虫的特性，还可以方便的将爬虫数据保存为csv、json等文件。
今天我们尝试用Scrapy爬取某某某作者的所有文章。
在本教程中，我们假设您已经安装了 Scrapy。如果没有，请参考。
1.创建项目
在开始爬取之前，我们必须创建一个新的 Scrapy 项目，这里我将其命名为 jianshu_article。打开Mac终端，cd到你打算存放代码的目录，运行以下命令：
//Mac终端运行如下命令：
scrapy startproject jianshu_article
2.创建爬虫
//cd到上面创建的文件目录
cd jianshu_article
//创建爬虫程序
scrapy genspider jianshu jianshu.com
/*
文件说明：
scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模型，用于结构化数据，如：Django的Model
pipelines 数据处理行为，如：一般结构化的数据持久化
settings.py 配置文件，如：USER_AGENT(模拟浏览器，应对网站反爬)，递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫规则
*/
为了方便编写程序，我们使用Pycharm打开项目。执行上述命令后，程序会自动创建目录和文件。生成了一个名为 jianshu.py 的文件，后面我们的主要逻辑会写在这个文件中。
简书.py
3.设置数据模型
双击 items.py 文件。
找到你要爬取的短书作者的主页，比如我自己的主页，用谷歌浏览器打开，空白处右击，点击“勾选”，进入控制台开发者模式：
打开控制台.png
通过分析网页的源代码，我们大概需要这些内容：
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class JianshuArticalItem(scrapy.Item):
avatar = scrapy.Field() #头像
nickname = scrapy.Field() #昵称
time = scrapy.Field() #发表时间
wrap_img = scrapy.Field() #封面（缺省值）
title = scrapy.Field() #标题
abstract = scrapy.Field() #正文部分显示
read = scrapy.Field() #查看人数
comments = scrapy.Field() #评论数
like = scrapy.Field() #喜欢（点赞）
detail = scrapy.Field() #文章详情url
pass
这样，数据模型就创建好了。后面运行爬虫的时候，得到的数据会存储在模型对应的位置。
4.分析网页源码，写爬虫
因为我比较懒，很少写文章，而且文章的数量也比较少。为了展示分页的效果，我选择了一个作者CC老师_MissCC的主页在短书中进行爬取。
我们可以通过分析 URL 发现一些特征：
作者的 URL 是： + 作者 ID：
作者主页 URL.png
文章 的 URL 是： + 文章ID：
文章网址.png
虽然我们直接在浏览器中打开作者的网址，但是用鼠标滚轮向下滚动会动态加载下一页，直到最后一篇文章文章网址保持不变。但是作为一个Scrapy爬虫，好像只能拿到第一页，那怎么办呢？以我多年的开发经验，尝试拼接一个“page”参数和url后面的页数。正如预期的那样，可以请求不同的数据。
拼接参数页获取分页数据.png
找到这些规则，我们就可以通过分析HTML源代码得到我们想要的数据了。
首先，我们回到 jianshu.py 文件并导入模型：
//从项目名 jianshu_article的文件items.py导入JianshuArticleItem类
from jianshu_article.items import JianshuArticleItem
设置必要的参数以启动第一个请求：
# -*- coding: utf-8 -*-
import scrapy
from jianshu_article.items import JianshuArticleItem
class JianshuSpider(scrapy.Spider):
name = 'jianshu'
allowed_domains = ['jianshu.com']
user_id = "1b4c832fb2ca"
url = "https://www.jianshu.com/u/{0}?page=1".format(user_id)
start_urls = [
url,
]
def parse(self, response):
#用户头像
c = response.xpath('//div[@class="main-top"]/a[@class="avatar"]/img/@src').extract_first()
print(c)
pass
此时终端运行命令scrapy crawl jianshu，理论上可以打印网页内容。事实上，情况并非如此。如果没有请求数据，终端会打印一些日志信息：
日志.png
不难发现，报了403问题和HTTP状态码未处理或不允许问题，导致“Closing spider（finished）”爬虫终止。通过万能百度知道网站已经采取了一些相应的反爬虫措施。要对症下药，我们只需要在settings.py中做一些相应的修改：
```
User_Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的
操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
通俗点讲，我们配置这个字段的目的就是为了伪装成浏览器打开网页，达到骗过目标网站的监测。
```
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'
CONCURRENT_REQUESTS = 1 #并发数
DOWNLOAD_DELAY = 5 #为了防止IP被封，我们5秒请求一次
HTTPERROR_ALLOWED_CODES = [403] #上面报的是403，就把403加入
#默认为True，就是要遵守robots.txt 的规则，这里我们改为False
ROBOTSTXT_OBEY = False
进行相应的修改后，我们再次执行爬虫命令：scrapy crawl jianshu，查看日志打印获取头像。
获取头像.png
既然可以成功抓取网页数据，接下来我们要做的就是分析网页的源代码，下面我们就不一一分析了。当然在此之前你需要对xpath有一定的了解。
以下引用Scrapy中文官网的介绍：
有很多方法可以从网页中提取数据。Scrapy 使用基于 XPath 和 CSS: 的表达机制。请参阅有关选择器和其他提取机制的信息。
以下是 XPath 表达式及其对应含义的示例：
以上只是几个简单的XPath例子，XPath其实比这个强大很多。如果您想了解更多，我们推荐这个 XPath 教程。
通过上面的介绍，相信你可以做好接下来的爬虫工作，把jianshu.py的所有代码贴在下面供参考：
# -*- coding: utf-8 -*-
import scrapy
from jianshu_article.items import JianshuArticleItem
class JianshuSpider(scrapy.Spider):
name = 'jianshu'
allowed_domains = ['jianshu.com']
user_id = "1b4c832fb2ca" #替换此用户ID可获取你需要的数据，或者放开下一行的注释
#user_id = input('请输入作者id：\n')
url = "https://www.jianshu.com/u/{0}?page=1".format(user_id)
start_urls = [
url,
]
def parse(self, response):
# [关注,粉丝,文章]
a = response.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li/div/a/p/text()').extract()
print(a)
# [字数,收获喜欢]
b = response.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li/div/p/text()').extract()
print(b)
# 大头像
c = response.xpath('//div[@class="main-top"]/a[@class="avatar"]/img/@src').extract_first()
print(c)
# 用户名
d = response.xpath('//div[@class="main-top"]/div[@class="title"]/a/text()').extract_first()
print(d)
# 性别
e = response.xpath('//div[@class="main-top"]/div[@class="title"]/i/@class').extract_first()
print(e)
# 获取文章总数，计算页数。（简书网站默认每页是9组数据）
temp = int(a[2])
if (temp % 9 > 0):
count = temp // 9 + 1
else:
count = temp // 9
print("总共" + str(count) + "页")
base_url = "https://www.jianshu.com/u/{0}?page={1}"
for i in range(1, count + 1):
i = count + 1 - i #理论上正序1~count就是按顺序获取的，但是获取的数据是倒置的，所以我们获取count~1的数据，得到的数组就是按照网页形式1~count页码排序的了
yield scrapy.Request(base_url.format(self.user_id, i), dont_filter=True, callback=self.parse_page)
#迭代返回每页的内容
def parse_page(self, response):
for sel in response.xpath('//div[@id="list-container"]/ul/li'):
item = JianshuArticleItem()
item['wrap_img'] = sel.xpath('a/img/@src').extract_first()
item['avatar'] = sel.xpath('div//a[@class="avatar"]/img/@src').extract_first()
item['nickname'] = sel.xpath('div//a[@class="nickname"]/text()').extract_first()
item['time'] = sel.xpath('div//span[@class="time"]/@data-shared-at').extract_first()
item['title'] = sel.xpath('div/a[@class="title"]/text()').extract_first()
item['abstract'] = sel.xpath('div/p[@class="abstract"]/text()').extract_first()
item['read'] = sel.xpath('div/div[@class="meta"]/a[1]/text()').extract()[1]
item['comments'] = sel.xpath('div/div[@class="meta"]/a[2]/text()').extract()[1]
item['like'] = sel.xpath('div/div[@class="meta"]/span/text()').extract_first()
item['detail'] = sel.xpath('div/a[@class="title"]/@href').extract_first()
yield item
至此，爬虫代码已经编写完毕。如果要保存获取的数据，可以在终端执行以下命令：
/*
此命令用于把爬取的数据保存为json文件格式，当然你也可以保存为别的文件格式。
Scrapy官方列出的文件格式有如下几种：('json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pickle')。
温馨提示：如果要再次爬取，最好换一个文件名或者清空数据再爬取，因为第二还是写入上一个文件，数据不会覆盖，
会堆积在上次获取的下面，造成json文件格式报错。
*/
scrapy crawl jianshu -o data.json
程序执行完后，我们可以在文件目录下看到新生成的data.json文件，双击可以看到我们要获取的所有数据：
执行 crawler.png 得到的数据
json解析出来的数据和网站.png上的完全一样
github地址：
