免费获取:python爬虫公众号所有信息,并批量下载公众号视频

优采云 发布时间: 2022-11-15 15:43

  免费获取:python爬虫公众号所有信息,并批量下载公众号视频

  前言

  本文文字及图片来源于网络,仅供学习交流之用。它们没有任何商业用途。版权归原作者所有。如有任何问题,请及时联系我们解决。

  主要功能

  1、获取公众号信息:标题、摘要、封面、文章URL

  脚步:

  1.先自己申请一个公众号 2.登录自己的公众号,新建文章图文,点击超链接

  编码

   1 import re

2 ​

3 import requests

4 import jsonpath

5 import json

6 ​

7 headers = {

8 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",

9 "Host": "mp.weixin.qq.com",

10 "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",

11 "Cookie": "自己获取信息时的cookie"

12 }

13 ​

14 def getInfo():

15 for i in range(80):

16 # token random 需要要自己的 begin:参数传入

17 url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

18 ​

19 response = requests.get(url, headers = headers)

20 ​

21 jsonRes = response.json()

22 ​

23 ​

<p>

24 titleList = jsonpath.jsonpath(jsonRes, "$..title")

25 coverList = jsonpath.jsonpath(jsonRes, "$..cover")

26 urlList = jsonpath.jsonpath(jsonRes, "$..link")

27 ​

28 # 遍历 构造可存储字符串

29 for index in range(len(titleList)):

30 title = titleList[index]

31 cover = coverList[index]

32 url = urlList[index]

33 ​

34 scvStr = "%s,%s, %s,\n" % (title, cover, url)

35 with open("info.csv", "a+", encoding="gbk", newline=&#39;&#39;) as f:

36 f.write(scvStr)</p>

  得到结果(成功):

  2.获取文章中的视频:实现批量下载

  通过分析单个视频 文章,我找到了这个链接:

  打开网页,发现是视频的网页下载链接:

  咦,好像有点意思。找到了视频页面的纯下载链接,那就开始吧。

  发现链接中有一个关键参数vid。不知从何而来?与其他获得的信息无关,只能被逼。

  该参数在单个文章的url请求信息中找到,然后获取。

  1 response = requests.get(url_wxv, headers=headers)

2 ​

3 # 我用的是正则,也可以使用xpath

4 jsonRes = response.text # 匹配:wxv_1105179750743556096

5 dirRe = r"wxv_.{19}"

6 result = re.search(dirRe, jsonRes)

7 ​

8 wxv = result.group(0)

<p>

9 print(wxv)</p>

  视频下载:

   1 def getVideo(video_title, url_wxv):

2 video_path = &#39;./videoFiles/&#39; + video_title + ".mp4"

3 ​

4 # 页面可下载形式

5 video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv

6 response = requests.get(video_url_temp, headers=headers)

7 content = response.content.decode()

8 content = json.loads(content)

9 url_info = content.get("url_info")

10 video_url2 = url_info[0].get("url")

11 print(video_url2)

12 ​

13 # 请求要下载的url地址

14 html = requests.get(video_url2)

15 # content返回的是bytes型也就是二进制的数据。

16 html = html.content

17 with open(video_path, &#39;wb&#39;) as f:

18 f.write(html)

  那么所有信息就都完成了,进行code组装。

  一个。获取公众号信息

  b. 过滤单个 文章 信息

  C。获取视频信息

  d. 拼接视频页面下载地址

  e. 下载视频并保存

  代码实验结果:

  .最后,小编想说:本人是一名python开发工程师,整理了一套最新的python系统学习教程。如果你想要这些资料,可以私信关注小编“01”。希望对您有所帮助。

  分享文章:文章检索功能分享(ios及Pados)支持作者,关键字,发布时间

  (目前以ios和Pados系统界面来说明鸿蒙系统和Android系统的操作说明再继续)

  点击底栏中间的分类查询。目前提供2021年生活训练片阅读诊断思路和最新技术共识解读,以及本地天气查询功能。下面介绍底部按钮提供的部分搜索功能

  点击底栏中间的分类查询。目前提供2021年生活训练片阅读诊断思路和最新技术共识解读,以及本地天气查询功能。下面介绍底部按钮提供的一些搜索功能

  

  文章的完整搜索功能分享如下

  点击右上角放大镜图标跳转到搜索界面

  由于功能界面与安卓界面相同,具体可以参考上篇文章安卓系统查询的操作方法。

  会出现一个快速搜索项 其他你想搜索的内容 在搜索框里输入关键词 作者发布时间文章标题可以在这里点击搜索或者在ios键盘上加入关键词共识

  

  ios使用ios16.0.3系统微信8.0.29作为基础软件更新,操作方法大致相同

  接下来分享一下Pados的操作方法,大同小异。参考上面的方法和下面的界面。

  pados系统版本15.7 微信版本8.0.29

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线