querylist采集微信公众号文章 熊孩子和萌宠搞笑视频笑声不断快乐常伴

　　querylist采集微信公众号文章 熊孩子和萌宠搞笑视频笑声不断快乐常伴

　　每天更新视频：熊孩子的日常，萌宠的日常，熊孩子和萌宠的搞笑视频，笑不停，一直陪着你！

　　

　　请允许我强制投放一波广告：

　　因为每个爬虫官方账号都是他家的，一年前的，现在的，只是主题和名字都变了。

　　一个喜欢小宠物但养不起猫的码农，下班后很高兴来看看。可以关注哦！

　　为保证视频安全，避免丢失，请楼主为视频添加水印。

　　获取官方账号信息

　　标题、摘要、封面、文章URL

　　步骤：

　　1、先自己申请公众号

　　2、登录您的帐户，创建一个新的文章图形，然后单击超链接

　　

　　3、弹出搜索框，搜索你需要的公众号，查看历史文章

　　

　　

　　4、抓包获取信息并定位请求的url

　　

　　通过查看信息，找到了我们需要的关键内容：title、abstract、cover和文章URL，确认这是我们需要的URL，点击下一页，多次获取url，发现只有 random 和 begin 的参数发生了变化

　　

　　这样就确定了主要信息网址。

　　让我们开始吧：

　　原来我们需要修改的参数是：token、random、cookie

　　获取url的时候就可以得到这两个值的来源。

　　# -*- coding: utf-8 -*-

import re

import requests

import jsonpath

import json

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",

"Host": "mp.weixin.qq.com",

"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",

"Cookie": "自己获取信息时的cookie"

}

def getInfo():

for i in range(80):

# token random 需要要自己的 begin：参数传入

url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

response = requests.get(url, headers = headers)

jsonRes = response.json()

titleList = jsonpath.jsonpath(jsonRes, "$..title")

coverList = jsonpath.jsonpath(jsonRes, "$..cover")

urlList = jsonpath.jsonpath(jsonRes, "$..link")

# 遍历 构造可存储字符串

for index in range(len(titleList)):

title = titleList[index]

cover = coverList[index]

url = urlList[index]

scvStr = "%s,%s, %s,\n" % (title, cover, url)

with open("info.csv", "a+", encoding="gbk", newline='') as f:

f.write(scvStr)

　　获取结果（成功）：

　　

　　获取文章内视频：实现批量下载

　　分析一个视频文章后，我找到了这个链接：

　　

　　打开网页，发现是视频网页的下载链接：

　　

　　

　　嘿嘿，好像有点意思，找到了视频网页的纯下载链接，开始吧。

　　我发现链接中有一个关键参数vid。不知从何而来？

　　与获取的其他信息无关，只能强制。

　　这个参数是在文章单人的url请求信息中找到的，然后获取。

　　response = requests.get(url_wxv, headers=headers)

# 我用的是正则，也可以使用xpath

jsonRes = response.text # 匹配:wxv_1105179750743556096

dirRe = r"wxv_.{19}"

result = re.search(dirRe, jsonRes)

wxv = result.group(0)

print(wxv)

　　视频下载：

　　def getVideo(video_title, url_wxv):

video_path = './videoFiles/' + video_title + ".mp4"

# 页面可下载形式

video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv

response = requests.get(video_url_temp, headers=headers)

content = response.content.decode()

content = json.loads(content)

url_info = content.get("url_info")

video_url2 = url_info[0].get("url")

print(video_url2)

# 请求要下载的url地址

html = requests.get(video_url2)

# content返回的是bytes型也就是二进制的数据。

html = html.content

with open(video_path, 'wb') as f:

f.write(html)

　　然后所有的信息都完成了，进行代码组装。

　　一个。获取公众号信息

　　B.过滤单篇文章文章information

　　c.获取视频信息

　　d。拼接视频页面下载地址

　　e.下载视频并保存

　　代码实验结果：

　　

　　

　　

　　

　　获取公众号：标题、摘要、封面、视频、

　　可以说你拥有一个视频公众号的所有信息，你可以复制一份。

　　危险动作，请勿操作！记住！记住！记住！

　　获取代码请回复公众号：20191210或公众号