从网页抓取视频(Python学习资料的PS学习方法（一）--Python )

　　从网页抓取视频(Python学习资料的PS学习方法（一）--Python

)

　　PS：如需Python学习资料，可点击下方链接自行获取

　　基本步骤和准备

　　

　　调试环境：

　　pycharm+python3

　　需要图书馆：

　　（http.cookiejar是后续爬虫会用到的库，本项目不涉及反爬，所以可以不加）

　　如果导入过程显示没有这个库，可以通过点击右边的+文件→设置→项目解释器来添加（如果你使用anaconda或者python，也可以直接运行这个项目，通过添加cmd→pip 安装）

　　2. 在本文中，我们使用python来抓取在线短视频，并下载并存储它们。基本步骤如下（可以写笔记整理思路）：

　　(1）分析页面URL和视频文件URL特征

　　(2）获取网页源代码HTML，解决防爬机制

　　(3） 批量下载视频存储

　　分析页面 URL 和文件 URL 特征

　　

　　1.分析网页的网址

　　通过网站URL：我们可以找到不同页码的知识URL的最后一个值，这个值代表的是页数，所以我们只需要改成固定的URL+变量就可以批量获取站点的URL

　　2.解析文件名URL

　　通过对网页中mp4文件名的分析，发现该文件的URL是以纯文本形式显示的，因此可以通过re的规律匹配得到。

　　批量获取网址，并从中提取视频网址

　　import urllib.request

import re

for page in range (1,20):

req = urllib.request.Request("http://www.budejie.com/video/%s" % page)

html = urllib.request.urlopen(req).read()

html = html.decode('UTF-8')

print(html)

　　1. 批量抓取网址

　　这里我们的page变量代表页面的编码，从这里我们暂时抓取前20个页面。

　　(1）req获取网络反馈

　　(2）html通过函数获取网页的元代码

　　（3）通过对源代码UTF-8进行编码，恢复中文显示。

　　但是通过上面代码的执行，发现是因为无法获取网页的反爬虫机制，导致显示错误显示http Error 403。

　　

　　2.通过页面添加头文件

　　我们通过谷歌浏览器访问页面，按F12切换到Network，刷新界面观察访问过程，可以从过程文件中选择一个头文件，并添加到代码中，（此处选择baisibudejie.js）修改代码如下，就可以正常爬取界面了。

　　for page in range (1,20):

req = urllib.request.Request("http://www.budejie.com/video/%s" % page)

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")

html = urllib.request.urlopen(req).read()

html = html.decode('UTF-8')

print(html)

　　批量下载视频并创建文件名存储

　　

　　

　　1.创建循环结构批量命名

　　循环结构建立后，需要保留文件名供下载使用。i.split("/")[-1] 的意思是对i进行分割，以'/'为分隔符，保留最后一段，即MP4文件名。

　　2.批量下载

　　还是需要加上一个显示输出语句来表示进程，这也符合程序的交互性，即视频下载到显示器时，显示进度，最后下载成mp4文件夹

　　for i in re.findall(reg, html):

filename = i.split("/")[-1] # 以‘/ ’为分割f符，保留最后一段，即MP4的文件名

print('正在下载%s视频' % filename)

urllib.request.urlretrieve(i, "mp4/%s" % filename)

　　1.建立一个完整的程序

　　作为一名合格的程序员，你需要对程序进行梳理并添加注释，以便于理解和后续修改

　　import urllib.request

import re

def getVideo(page):

req = urllib.request.Request("http://www.budejie.com/video/%s" %page)

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")

html = urllib.request.urlopen(req).read()

html = html.decode('UTF-8')

reg = r'data-mp4="(.*?)"'

for i in re.findall(reg,html):

filename = i.split("/")[-1]#以‘/ ’为分割f符，保留最后一段，即MP4的文件名

print ('正在下载%s视频' %filename)

urllib.request.urlretrieve(i,"mp4/%s"%filename)

for i in range (1,20):

getVideo(i)