教程:Python大佬精选教材，一步一步教你从零开始学会采集小说
优采云 发布时间: 2022-11-17 01:55教程:Python大佬精选教材，一步一步教你从零开始学会采集小说
爬虫实战01--小说02-2，起始页处理02-3，页面处理03，其他内容分析：03-3，其他04，完整代码05，结论：
01.运行环境
私信小编01 领取Python学习资料
# 操作系统：win10 专业版
pycharm professional 2019.1
python 3.8
beautifulsoup4 == 4.9.0
requests == 2.23.0
random # 内置的
1234567
02.启动爬虫02-1。分析要点
另外两点，先获取页面，再获取页面中的内容
02-1-1。页面间处理：找到爬虫的第一页，查找上一页和下一页的规则是什么，或者如何从跳到下一页找到最后一页
总的来说就是：判断开始条件和结束条件，找到跳转到下一页的规则！（从头到尾都有一个过程）02-1-2。提取页面中的内容 找到数据内容所在的位置，(title, content...)（重点找到内容的共性，方便提取）提取所在位置的label，然后提取text和保存提取的Data 02-2，起始页处理02-2-1，文章目录链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/xiaoshuo.html
12
这个地址就是我们要爬取的小说的目录页地址。这个页面有我们要爬取的所有页面的链接地址，方便我们知道第一页和最后一页，以及页面之间的地址规则。.
02-2-2。第一页链接地址：
# 第一个页面链接地址
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html
12
02-2-3，第2-5页链接地址：
# 第二个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17483.html
# 第三个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17484.html
# 第四个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17485.html
# 第五个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17486.html
12345678
02-2-4。最后一页链接地址：
# 最后一个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html
12
02-2-5。分析结果
从上面的链接地址可以看出，这本小说的整个网页地址都来自
到达
完了，我们可以对比一下，是上一个
*****.html都是一样的，只有最后五个值不一样，而且页面之间有+1的变化规则，所以这样我们就知道了所有页面的规则和开始，结束条件。
02-2-6。获取所有页面的代码
urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17644,17650)]
此列表理解将所有页面保存在 urllist 列表中。
02-3. 页内处理 02-3-1。页面分析1
打开一篇文章文章，右键查看！
知道文章的内容所在的标签，点击代码左上角的小箭头，然后在网页中选择你要看的内容所在的区域，然后分析找到它之后
02-3-2，文章头条分析：
经过分析，title是页面中唯一的标签，class='title'我们通过title的这两个特征得到title，进而得到title的内容。（获取标题是内容需要的，也可以作为保存文件的文件名）
02-3-3。获取标题代码实现：
response = requests.get(url=pageurl,headers=headers,params=params)
<p>
reshtml = response.content.decode()
soup = BeautifulSoup(reshtml,'lxml')
# 获取页面的标题所在标签，用到了***层级选择器****
titlelist = soup.select('.content h1')
# 获取标签里面的标题内容，因为标签是保存的一个列表里面，要先取出来，
# 然后用`.get_text()`获取到其中的内容
title_text = titlelist[0].get_text()
# 替换到标题里面的一些特殊符号，后面保存为文件名的时候，不允许，
# 这一个是后面代码运行之中出的错误，后面加上的。
title_text =title_text.replace('*','')</p>
02-3-4。获取内容分析：
通过分析，（见图），发现以下几点：
1.小说的所有内容都在p标签里
2. 这个内容的p标签在id=''content'的div标签里面。
基于以上两点，我们可以唯一获取到所有内容的p标签，进而获取到里面的内容。
02-3-5。内容获取代码说明
response = requests.get(url=pageurl,headers=headers,params=params)
reshtml = response.content.decode()
soup = BeautifulSoup(reshtml,'lxml')
# 获取到全部存在内容的标签，返回的是一个列表
# 用到了***层级选择器***
restextlist = soup.select('#content p')
# 用for循环可以取出全部的标签，然后用.get_text()取出全部内容。
for article_text in restextlist:
article_text.get_text()
03.其他内容分析：03-1。标头请求标头
在网页里面，
右支票
-----> 点击上面的网络
-----> 检查保留日志
-----> 然后刷新页面
-----> 在Name中找到一条消息刷新（大概率是）（这是网页，找到就ok），
-----> 点击右边的headers头信息
-----> 翻到最下面Request Headers 请求头信息
-----> 找到里面的User-Agent信息，然后复制粘贴到代码中。这里存储了很多信息。如果不携带，大概率会请求不到网页。
03-2. 使用参数代理池的原因：
同一个ip地址，对一个网站快速频繁的请求，会被网站认为是恶意请求，爬虫等异常情况，然后会被ip bans等限制。让你无法爬取信息。
解决方案
使用代理池，（这个是正向代理，反向代理可以用Nginx自己了解，前者是给浏览器代理，后者是给服务器代理。）然后从中随机选择一个ip代理池去Access，每次请求ip都不一样，这样的话，对方是检测不到异常的。
快速代理
这个网站收录大量免费的高密代理可以使用，对方无法检测和追踪ip！
03-3。其他
如果以上还是请求不到页面，那你继续尽可能的携带Resquest Headers请求头中的信息。让对方以为你是浏览器。
04.完整代码
import requests
from bs4 import BeautifulSoup
import random
# 全部网页列表，后面进行循环取出页面，然后处理
urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17482,17650)]
# 请求头
headers = {
<p>
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"
}
# 正向代理，代理池。
# 如果一个ip地址，快速，一直请求的话，会被网页认为是爬虫，然后把你的ip地址封禁了。。所以用正向代理。。然后在下面用random模块，随机取出一个ip地址进行请求！
paramslist = ['121.232.199.237:9000','125.108.67.254:9000','123.163.118.102:9999',
'125.108.67.254:9000','171.35.172.151:9999','123.101.231.234:9999',
'125.108.67.254:9000','123.163.118.102:9999','171.35.172.151:9999',
'123.101.231.234:9999','113.195.16.16:9999','175.44.109.145:9999',
'125.108.85.141:9000','175.43.32.21:9999','183.166.103.22:9999',
'125.110.96.80:9000','123.160.69.100:9999','112.111.217.69:9999',
'1.199.30.133:9999','123.55.102.150:9999','120.83.104.196:9999',
'180.118.128.138:9000','163.204.95.253:9999','113.195.18.89:9999',
'113.195.16.191:9999','175.42.129.76:9999','125.110.124.214:9000',
'125.110.102.54:9000','36.249.119.16:9999','125.110.89.240:9000',
'171.35.146.70:9999','124.93.201.59:42672','171.35.173.112:9999']
# 从代理池里面，随机取出一个ip地址，进行访问
httpindex = random.randint(0,len(paramslist)-1)
params = {
'HTTP': paramslist[httpindex]
}
# for循环每一个列表，进行处理
for pageurl in urllist:
# 下面的两行就是看一个下载进度提示，没有意义
index1 = urllist.index(pageurl)+1
print("第{}下载".format(index1))
# 发送请求，获取页面
response = requests.get(url=pageurl,headers=headers,params=params)
reshtml = response.content.decode()
# 用bs4解析页面
soup = BeautifulSoup(reshtml,'lxml')
# 获取小说全部内容的标签
restextlist = soup.select('#content p')
# 获取小说标题的标签
titlelist = soup.select('.content h1')
# 获取标题的文字，然后进行特殊符号的替换，以免很后面文章命名文件出错
title_text = titlelist[0].get_text()
title_text =title_text.replace('*','')
print("正在下载---{}---".format(title_text))
# 打开文件，进行写入文章的全部的小说，文件命名就是“标题.txt”，写的方式'w',编码方式是'utf-8'
with open("./08novel/{}.txt".format(title_text),'w',encoding='utf-8') as f:
f.write(title_text+"\n")
# for循环获取的article_text 是带有内容的p标签
for article_text in restextlist:
# article_text.get_text()这一个才是p标签，获取其中的内容。换行
f.write(article_text.get_text()+"\n")
print("下载完成---{}---".format(title_text))
print("全部下载完成！")
</p>
05.结论：
个人记录，初学者入门，学到很多，欢迎交流讨论！
技巧:免费关键词挖掘工具有哪些，五款必备工具推荐
众所周知，网站关键词分为目标关键词和长尾关键词。目标关键词作为网站的灵魂，定义了网站的中心思想和内容建设与拓展的方向。选择正确的目标关键词就像选择成功之路长尾关键词指的是网站非目标关键词但也能带来搜索流量关键词 , 优化长尾关键词 能够给一个网站带来巨大的流量，挖掘出有用户需求的长尾关键词，就像在成功的路上拥有一辆车！
如何快速有效地挖掘出长尾关键词一直困扰着很多SEO初学者。今天追梦人就来告诉大家如何快速有效挖掘长尾关键词，提高工作效率！
下面介绍几种方便快捷有效的长尾关键词挖矿方法：
1.利用“百度指数”寻找用户需求
打开百度索引页（），输入目标关键词，点击查看索引，然后选择需求图。
滑动到页面底部以查看热门搜索。
根据百度指数展示的需求图以及相关搜索词和热门搜索中上升最快的搜索词，我们可以列出一些比较流行的长尾关键词。
2.百度推广客户端-关键词工具
百度推广客户端()作为百度搜索推广、网盟推广的利器，不仅给众多SEMer带来了极大的便利，关键词工具也适合SEOer工作中的长尾关键词挖掘. 我们只需要注册（注册地址）并登录百度推广账号就可以使用这个工具（免费）。
点击关键词工具，等待弹出对话框，输入搜索关键词，关键词工具会列出相关的长尾关键词，并显示关键词 date 搜索量一般，竞争激烈等！
3.利用“词库网络”挖掘长尾关键词
()是一个综合性的网站关键词词库，包括最新关键词库、热门关键词库、竞价关键词库、行业关键词 图书馆等
选择长尾词库，输入关键词搜索，会为我们列出与目标关键词相关的长尾关键词。并且会显示与目标关键词相关的长尾关键词的数量、索引、搜索趋势、搜索结果、排名第一网站等。
4.使用“爱站工具包”-关键词查询
爱站Toolkit()是SEOer必备的聚合工具包，汇集了日常SEO工作所需的众多工具，只需注册登录即可使用（免费）。
选择关键词挖掘，可以快速有效地挖掘与目标关键词相关的长尾关键词。支持百度索引批量查询和关键词挖掘功能，可快速批量查询导出指定级别索引关键词。关键词挖矿可以挖掘出自爱站打开站点以来的所有数据，并支持关联、过滤等筛选、导出等功能。
写在最后
还有一些类似的工具，比如：站长助手、追词助手、金花关键词工具等，这里就不一一举例了，只要掌握了以上的工具和方法，你绝对可以满足SEOer的长尾关键词挖掘。
