文章采集软件app( 爬取网络配置、及证书安装首先查看.js的方法)
优采云 发布时间: 2021-09-20 00:11文章采集软件app(
爬取网络配置、及证书安装首先查看.js的方法)
目前市场上对爬行微信公众号文章有很多解释方法,但很多方法都不可用,无法获得一定数量的阅读和好评。这是一个复杂的教程。它被复制了又复制。经过多次实践,该方案是切实可行的。它简单易操作。干货仅在本教程中使用。p>
首先,安装所需的环境1.node.js+任何代理安装
1.1node.js装置
下载node.js并在官网上打开下载链接:我在这里下载node-v6.9.2 - x64.MSI,如下图:
下载完成后,双击节点-v6.9.2 - x64.MSI”,开始安装node.js,点击下一步。需要注意的是node.js默认安装目录是“C:程序文件Nodejs”。您可以点击更改来修改该目录。一般来说,我是在“D:程序文件Nodejs”下安装的
安装完成后,检查path环境变量是否配置了node.js,点击start=>Run=>并输入“CMD”=>;输入命令“path”,查看输出结果中是否有node的安装目录
最后,测试节点是否安装成功
单击start=>Run=>并输入“CMD”=>;输入命令“node-V”和“NPM-V”以显示如图所示的结果,表明安装成功
1.2Anyproxy安装
单击start=>Run=>并输入“CMD”=>;输入命令“NPM install-G anyproxy”。安装完成后,输入命令“anyproxy-I”以启动anyproxy
打开浏览器,输入localhost:8002,然后打开anyproxy界面
2.手机模拟器安装
我试过好几种模拟器,我觉得Mumu模拟器很好用,它是网易生产的,有一定的质量保证,下载地址:,你可以在官网上下载安装
3.网络配置和证书安装
首先,检查本地IP地址,单击start=>Run=>并输入“CMD”=>;输入命令“ipconfig”检查您的IP地址,如图所示
然后在模拟器上打开浏览器,输入您找到的IP:8002。如图所示:
单击rootca安装证书
在模拟器上,单击设置、WLAN和配置代理
@在4.simulator上安装微信
通过Mumu模拟器上的应用中心安装微信
电脑终端,打开浏览器,进入localhost:8002,打开电脑模拟器微信,访问任意官方账号,查看电脑浏览器,可以看到微信请求包。p>
在环境准备好之后,让我们开始分析接口和相关的重要参数
首先,让我们讨论一些重要参数
下面是一些重要的接口
抓取官方账号文章需要先有一个入口,很多文章都是从旧的文章入口开始的。获取第一个页面的HTML,获取脚本标签16中msglist变量的值,获取第一个页面的内容,然后通过接口请求JSON数据来获取其他页面的数据为了得到喜欢和看数字,在整个过程中需要三个接口
其实爬网的整个过程,可以优化。我们可以合并第一个和第二个界面,只需要两个界面,就可以完成官方账号文章列表和抓取的点数。p>
获取列表数据界面,通过修改偏移量控制页数,计数不能大于10,即一页最多10项
"/mp/profile_ext?action=getmsg&__biz="+__biz+"&f=json&offset="+offset+"&count=10&appmsg_token="+appmsg_token+"";
第二个接口是获取喜欢的数量。在计数接口中,请注意这是一个post请求
"/mp/getappmsgext?f=json&__biz="+__biz+"&appmsg_token="+appmsg_token+"&fasttmplajax=1";
需要上传请求正文
"mid="+mid+"&sn="+sn+"&idx="+idx+"&is_only_read=1"
通过这两个界面,您可以获得任意官方账号的所有文章和官方账号中的点数,这里我们要注意列表请求最好间隔2秒,点数为2秒,否则微信会被封存,无法访问公众号,其他功能不受影响,24小时自动解封。p>
微信公众号文章batch采集,到此结束。如果您有任何问题,请留言讨论~~