免费获取:python爬虫公众号所有信息,并批量下载公众号视频
优采云 发布时间: 2022-11-15 15:43免费获取:python爬虫公众号所有信息,并批量下载公众号视频
前言
本文文字及图片来源于网络,仅供学习交流之用。它们没有任何商业用途。版权归原作者所有。如有任何问题,请及时联系我们解决。
主要功能
1、获取公众号信息:标题、摘要、封面、文章URL
脚步:
1.先自己申请一个公众号 2.登录自己的公众号,新建文章图文,点击超链接
编码
1 import re
2
3 import requests
4 import jsonpath
5 import json
6
7 headers = {
8 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
9 "Host": "mp.weixin.qq.com",
10 "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",
11 "Cookie": "自己获取信息时的cookie"
12 }
13
14 def getInfo():
15 for i in range(80):
16 # token random 需要要自己的 begin:参数传入
17 url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))
18
19 response = requests.get(url, headers = headers)
20
21 jsonRes = response.json()
22
23
<p>
24 titleList = jsonpath.jsonpath(jsonRes, "$..title")
25 coverList = jsonpath.jsonpath(jsonRes, "$..cover")
26 urlList = jsonpath.jsonpath(jsonRes, "$..link")
27
28 # 遍历 构造可存储字符串
29 for index in range(len(titleList)):
30 title = titleList[index]
31 cover = coverList[index]
32 url = urlList[index]
33
34 scvStr = "%s,%s, %s,\n" % (title, cover, url)
35 with open("info.csv", "a+", encoding="gbk", newline='') as f:
36 f.write(scvStr)</p>
得到结果(成功):
2.获取文章中的视频:实现批量下载
通过分析单个视频 文章,我找到了这个链接:
打开网页,发现是视频的网页下载链接:
咦,好像有点意思。找到了视频页面的纯下载链接,那就开始吧。
发现链接中有一个关键参数vid。不知从何而来?与其他获得的信息无关,只能被逼。
该参数在单个文章的url请求信息中找到,然后获取。
1 response = requests.get(url_wxv, headers=headers)
2
3 # 我用的是正则,也可以使用xpath
4 jsonRes = response.text # 匹配:wxv_1105179750743556096
5 dirRe = r"wxv_.{19}"
6 result = re.search(dirRe, jsonRes)
7
8 wxv = result.group(0)
<p>
9 print(wxv)</p>
视频下载:
1 def getVideo(video_title, url_wxv):
2 video_path = './videoFiles/' + video_title + ".mp4"
3
4 # 页面可下载形式
5 video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv
6 response = requests.get(video_url_temp, headers=headers)
7 content = response.content.decode()
8 content = json.loads(content)
9 url_info = content.get("url_info")
10 video_url2 = url_info[0].get("url")
11 print(video_url2)
12
13 # 请求要下载的url地址
14 html = requests.get(video_url2)
15 # content返回的是bytes型也就是二进制的数据。
16 html = html.content
17 with open(video_path, 'wb') as f:
18 f.write(html)
那么所有信息就都完成了,进行code组装。
一个。获取公众号信息
b. 过滤单个 文章 信息
C。获取视频信息
d. 拼接视频页面下载地址
e. 下载视频并保存
代码实验结果:
.最后,小编想说:本人是一名python开发工程师,整理了一套最新的python系统学习教程。如果你想要这些资料,可以私信关注小编“01”。希望对您有所帮助。
分享文章:文章检索功能分享(ios及Pados)支持作者,关键字,发布时间
(目前以ios和Pados系统界面来说明鸿蒙系统和Android系统的操作说明再继续)
点击底栏中间的分类查询。目前提供2021年生活训练片阅读诊断思路和最新技术共识解读,以及本地天气查询功能。下面介绍底部按钮提供的部分搜索功能
点击底栏中间的分类查询。目前提供2021年生活训练片阅读诊断思路和最新技术共识解读,以及本地天气查询功能。下面介绍底部按钮提供的一些搜索功能
文章的完整搜索功能分享如下
点击右上角放大镜图标跳转到搜索界面
由于功能界面与安卓界面相同,具体可以参考上篇文章安卓系统查询的操作方法。
会出现一个快速搜索项 其他你想搜索的内容 在搜索框里输入关键词 作者发布时间文章标题可以在这里点击搜索或者在ios键盘上加入关键词共识
ios使用ios16.0.3系统微信8.0.29作为基础软件更新,操作方法大致相同
接下来分享一下Pados的操作方法,大同小异。参考上面的方法和下面的界面。
pados系统版本15.7 微信版本8.0.29