网页视频抓取浏览器(补充有关Python爬虫的网络资料的抓取方式(2))

优采云 发布时间: 2022-01-22 11:12

  网页视频抓取浏览器(补充有关Python爬虫的网络资料的抓取方式(2))

  (2)文件导入:

  

  打开扩展页面的开发者模式,可以直接点击加载,也可以拖拽对应文件到扩展页面完成安装

  

  2.浏览器插件

  以火狐浏览器为例,可以下载相关插件抓取网络数据

  

  方法一:网站搜索下载

  a) Firefox 插件的浏览器搜索

  b) 在 网站 下载并启用 Video DownloadHelper

  中找到所需的浏览器扩展

  

  方法二:按名称搜索下载

  

  3.Python-youget 库下载

  youget 是 Python 的第三方库,也是一款优秀的网站视频下载工具。使用 youget 可以轻松下载互联网上的视频、图片和音乐。

  youget库的使用:方法一:直接下载

  

  文件默认保存地址为C盘用户目录

  

  方法二:下载定义对应的视频文件

  % 查看视频文件的清晰度

you-get -i + 目标网页网址

% 选择所需的清晰度

you-get --format=对应的清晰度 + 目标网页网址

  

  补充:

  % 下载视频重命名

you-get 目标网页网址 -O 文件名(不用加文件扩展名)

% you-get https://v.qq.com/x/page/b081967rklt.html -O demo

% 指定下载路径(两种方式都行)

you-get 目标网页网址 -O 文件路径\文件名(不用加文件扩展名)

you-get 目标网页网址 -O 文件路径\文件名(不用加文件扩展名)

  你得到常见的错误处理

  对于B站的部分视频,如果我们直接复制浏览器地址栏中的链接,运行结果可能会提示:

  

  【这里需要一点前端基础,使用抓包工具获取视频文件正确的url,可以结合网络中的请求头信息下载,可以理解youget作为爬虫]

  在浏览器中按F12(或Fn+F12)打开开发者工具,以Firefox为例,在查看器下找到head标签,找到类似下图的语句:

  

  使用此语句中的 URL 作为下载 URL

  4.使用爬虫爬取

  网络爬虫是一种高效的信息采集器,您可以使用它快速准确地采集我们想要的任何数据源。

  示例:知乎热门列表文本数据采集并写入文件

  

  作为Python爬虫爱好者,笔者将在后续开专栏整理补充关于Python爬虫的相关文章。想了解爬虫的朋友可以关注和留言。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线