文章采集发布(爬虫实战01--小说02-2、开始页面处理)

　　文章采集发布(爬虫实战01--小说02-2、开始页面处理)

　　爬虫实战01--小说02-2、开始页面处理02-3、页面处理03、其他内容解析：03-3、其他04、完成代码 05、 结论：

　　01、 运行环境

　　私信小编01获取Python学习资料

　　# 操作系统：win10 专业版

pycharm professional 2019.1

python 3.8

beautifulsoup4 == 4.9.0

requests == 2.23.0

random # 内置的

1234567

　　02、开始爬取02-1、分析点

　　对于另外两点，先获取页面，再获取页面内部的内容

　　02-1-1、 跨页处理：找爬虫的第一页，找上一页和下一页的规则是什么，或者如何跳转到下一页找到最后一页

　　一般：确定开始和结束条件，找到规则跳转到下一页！（有开始，有过程）02-1-2、 提取页面内容，查找数据内容，（标题，内容...）（重点查找内容的共性，易于提取）提取标签，然后提取文本 保存提取的数据 02-2、开始页面处理 02-2-1、文章 目录链接地址：

　　

http://www.quanben5.com/n/chuimianbuhanyangliufeng/xiaoshuo.html

12

　　这个地址就是我们要爬取的小说目录页的地址。这个页面有我们要抓取的所有页面的链接地址，方便我们到第一页和最后一页，以及页面之间的地址法。

　　02-2-2、首页链接地址：

　　# 第一个页面链接地址

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html

12

　　02-2-3、 2-5页链接地址：

　　# 第二个页面链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17483.html

# 第三个页面链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17484.html

# 第四个页面链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17485.html

# 第五个页面链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17486.html

12345678

　　

　　02-2-4、 最后一页链接地址：

　　# 最后一个页面链接地址：

http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html

12

　　

　　02-2-5、分析结果

　　从上面的链接地址可以看出，这本小说的所有网页地址都来自

　　到达

　　最后，我们可以比较一哈，也就是上一哈

　　*****.html都是一样的，只有最后五个值不同，而且页面之间有+1变化规律，所以我们知道了所有页面的规律和开始，结束的条件。

　　02-2-6、获取所有页面的代码

　　urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17644,17650)]

　　此列表推导将所有页面保存在 urllist 列表中。

　　02-3、页面处理02-3-1、页面分析1

　　打开一篇文章文章，右击查看！

　　

　　知道文章的内容标签，点击代码左上角的小箭头，然后在网页中选择你想看到的内容所在的区域，找到后进行分析它

　　

　　02-3-2、文章标题解析：

　　

　　经过分析，title是页面中唯一的标签，而class='title'，我们通过title的这两个特征得到title，进而得到title的内容。（获取title，是内容所需要的，也可以作为保存文件的文件名）

　　02-3-3、 获取标题代码实现：

　　 response = requests.get(url=pageurl,headers=headers,params=params)

reshtml = response.content.decode()

soup = BeautifulSoup(reshtml,'lxml')

# 获取页面的标题所在标签，用到了***层级选择器****

titlelist = soup.select('.content h1')

# 获取标签里面的标题内容，因为标签是保存的一个列表里面，要先取出来，

# 然后用`.get_text()`获取到其中的内容

title_text = titlelist[0].get_text()

# 替换到标题里面的一些特殊符号，后面保存为文件名的时候，不允许，

# 这一个是后面代码运行之中出的错误，后面加上的。

title_text =title_text.replace('*','')

　　02-3-4、获取内容分析：

　　

　　通过分析，（见图），我们发现以下几点：

　　1、小说内容全部在p标签

　　2、 这个内容的 p 标签在 id=''content' 的 div 标签内。

　　基于以上两点，我们可以唯一获取所有内容的p个标签，进而获取里面的内容。

　　02-3-5、内容获取码说明

　　 response = requests.get(url=pageurl,headers=headers,params=params)

reshtml = response.content.decode()

soup = BeautifulSoup(reshtml,'lxml')

# 获取到全部存在内容的标签，返回的是一个列表

# 用到了***层级选择器***

restextlist = soup.select('#content p')

# 用for循环可以取出全部的标签，然后用.get_text()取出全部内容。

for article_text in restextlist:

article_text.get_text()

　　03、其他内容解析：03-1、headers 请求头

　　在网页中，

　　右键单击以检查

　　----->点击上方的网络

　　----->检查保留日志

　　-----> 然后刷新页面

　　-----> 在Name中找到一条刷新的消息（概率是yes）（就是这个网页，可以找到），

　　----->点击右边的标题信息

　　-----> 转到底部Request Headers 请求头信息

　　-----> 找到里面的User-Agent信息，然后复制粘贴到代码中。这里存储了很多信息。如果不携带，很有可能无法请求网页。

　　

　　03-2、 使用参数代理池的原因：

　　同一个ip地址，对一个网站的快速而频繁的请求，会被网站认为是恶意请求、爬取等异常情况，然后会被ipbans等限制. 让你不爬取信息。

　　解决方案

　　使用代理池，（这个是正向代理，反向代理使用Nginx自行了解。前者是浏览器的代理，后者是服务器的代理。）然后随机选择一个ip来自代理池。对于访问来说，每次请求的ip都不一样，这样对方就无法检测到异常。

　　快速代理

　　这个网站收录大量免费高密特工，可以使用，对方无法检测跟踪ip！

　　03-3、其他

　　如果上面仍然无法请求页面，那么你继续尽可能多地携带Request Headers请求头中的信息。让其他人认为您是浏览器。

　　04、完整代码

　　import requests

from bs4 import BeautifulSoup

import random

# 全部网页列表，后面进行循环取出页面，然后处理

urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17482,17650)]

# 请求头

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"

}

# 正向代理，代理池。

# 如果一个ip地址，快速，一直请求的话，会被网页认为是爬虫，然后把你的ip地址封禁了。。所以用正向代理。。然后在下面用random模块，随机取出一个ip地址进行请求！

paramslist = ['121.232.199.237:9000','125.108.67.254:9000','123.163.118.102:9999',

'125.108.67.254:9000','171.35.172.151:9999','123.101.231.234:9999',

'125.108.67.254:9000','123.163.118.102:9999','171.35.172.151:9999',

'123.101.231.234:9999','113.195.16.16:9999','175.44.109.145:9999',

'125.108.85.141:9000','175.43.32.21:9999','183.166.103.22:9999',

'125.110.96.80:9000','123.160.69.100:9999','112.111.217.69:9999',

'1.199.30.133:9999','123.55.102.150:9999','120.83.104.196:9999',

'180.118.128.138:9000','163.204.95.253:9999','113.195.18.89:9999',

'113.195.16.191:9999','175.42.129.76:9999','125.110.124.214:9000',

'125.110.102.54:9000','36.249.119.16:9999','125.110.89.240:9000',

'171.35.146.70:9999','124.93.201.59:42672','171.35.173.112:9999']

# 从代理池里面，随机取出一个ip地址，进行访问

httpindex = random.randint(0,len(paramslist)-1)

params = {

'HTTP': paramslist[httpindex]

}

# for循环每一个列表，进行处理

for pageurl in urllist:

# 下面的两行就是看一个下载进度提示，没有意义

index1 = urllist.index(pageurl)+1

print("第{}下载".format(index1))

# 发送请求，获取页面

response = requests.get(url=pageurl,headers=headers,params=params)

reshtml = response.content.decode()

# 用bs4解析页面

soup = BeautifulSoup(reshtml,'lxml')

# 获取小说全部内容的标签

restextlist = soup.select('#content p')

# 获取小说标题的标签

titlelist = soup.select('.content h1')

# 获取标题的文字，然后进行特殊符号的替换，以免很后面文章命名文件出错

title_text = titlelist[0].get_text()

title_text =title_text.replace('*','')

print("正在下载---{}---".format(title_text))

# 打开文件，进行写入文章的全部的小说，文件命名就是“标题.txt”，写的方式'w',编码方式是'utf-8'

with open("./08novel/{}.txt".format(title_text),'w',encoding='utf-8') as f:

f.write(title_text+"\n")

# for循环获取的article_text 是带有内容的p标签

for article_text in restextlist:

# article_text.get_text()这一个才是p标签，获取其中的内容。换行

f.write(article_text.get_text()+"\n")

print("下载完成---{}---".format(title_text))

print("全部下载完成！")

　　05、 结论：

　　个人记录，初学者，多多学习，欢迎大家交流讨论！