内容分享:微信公众号文章批量采集
优采云 发布时间: 2021-01-07 12:08内容分享:微信公众号文章批量采集
目前,有很多方法可以在市场上抓取微信公众号文章,但是其中许多方法不可用,并且无法记录阅读次数和喜欢的次数,并且教程非常复杂并且全部被复制。复制它,该程序是经过许多实际操作总结的可执行程序,并且简单易用。本教程仅讨论干货。
首先安装所需的环境1.node.js + anyproxy安装
1.1node.js安装
下载Node.js并打开官方网站下载链接:/ en / download /我下载了node-v6.9.2-x64.msi,如下所示:
下载完成后,双击“ node-v6.9.2-x64.msi”开始安装Node.js,只需单击下一步。需要注意的主要事情是Node.js的默认安装目录是“ C:\ Program Files \ nodejs \”。您可以单击更改以修改目录。通常,我将其安装在“ D:\ Program Files \ nodejs \”下。
安装完成后,检查是否在PATH环境变量中配置了Node.js。单击开始=》运行=》输入“ cmd” =>输入命令“路径”,然后查看输出中是否有节点安装目录。
最后,测试节点是否安装成功。
点击开始=>运行=》输入“ cmd” =>输入命令“ node -v”和“ npm -v”,显示如图所示结果,表明安装成功。
1.2 anyproxy安装
点击开始=>运行=》输入“ cmd” =>输入命令“ npm install -g anyproxy”安装完成后,输入命令“ anyproxy -i”以启动anyproxy。
打开浏览器并输入localhost:8002以打开anyproxy界面。
2.安装手机模拟器
我尝试了几种模拟器,我认为MuMu模拟器相对易于使用。它是由网易生产的,具有一定的质量保证。下载地址:/,您可以从官方网站下载并安装。
3.网络配置和证书安装
首先检查本地IP,单击Start =》 Run =》输入“ cmd” =>输入命令“ ipconfig”以检查您的IP,如图所示
然后在*敏*感*词*上打开浏览器,然后输入找到的IP:8002。如图所示:
点击ROOTCA以安装证书
在模拟器上,依次单击“设置”,“ WLAN”,“配置代理”
4.在模拟器上安装微信
通过MuMu模拟器上的应用程序中心安装微信。
在计算机端,打开浏览器,输入localhost:8002,打开*敏*感*词*微信,访问任何官方帐户,并检查计算机浏览器,即可看到微信请求的数据包。
准备好环境后,让我们开始分析界面和相关的重要参数。
首先我们要谈一些重要的参数
我们来谈谈几个重要的界面
要获取正式帐户文章,您需要先输入一个条目。许多文章从旧的文章列表条目开始。获取第一页的html,获取第16个脚本标签中msgList变量的值,获取第一页的内容,然后通过该接口请求json数据以获取其他页的数据。除了获取喜欢和观看数据的界面之外,整个过程还需要三个界面。
实际上,可以优化整个爬网过程。我们可以合并第一个和第二个接口。只需要两个接口即可完成正式帐户文章列表,并且可以看到喜欢的次数。爬行。
通过修改偏移量以控制页数来获取列表数据接口,其中计数不能大于10,这意味着一个页面中最多有十个项目。
"/mp/profile_ext?action=getmsg&__biz="+__biz+"&f=json&offset="+offset+"&count=10&appmsg_token="+appmsg_token+"";
要获取喜欢人数的第二个界面,请在手表编号界面中,请注意,这是此界面中的POST请求,
"/mp/getappmsgext?f=json&__biz="+__biz+"&appmsg_token="+appmsg_token+"&fasttmplajax=1";
需要上传请求正文
"mid="+mid+"&sn="+sn+"&idx="+idx+"&is_only_read=1"
通过这两个界面,您可以获取任何正式帐户的全部文章,以及点赞次数和计数等。在此处应注意,列表请求应以2秒分开,并且点赞数量的界面应间隔2秒。 ,否则,微信帐户将被阻止并且无法访问官方帐户,其他功能将不受影响,并且将在24小时内自动解除锁定。
WeChat官方帐户文章批处理采集就是这样。如有任何疑问,可以留言讨论~~