文章采集软件app( 爬取网络配置、及证书安装首先查看.js的方法)

优采云 发布时间: 2021-09-20 00:11

  文章采集软件app(

爬取网络配置、及证书安装首先查看.js的方法)

  

  目前市场上对爬行微信公众号文章有很多解释方法,但很多方法都不可用,无法获得一定数量的阅读和好评。这是一个复杂的教程。它被复制了又复制。经过多次实践,该方案是切实可行的。它简单易操作。干货仅在本教程中使用。p>

  首先,安装所需的环境1.node.js+任何代理安装

  1.1node.js装置

  下载node.js并在官网上打开下载链接:我在这里下载node-v6.9.2 - x64.MSI,如下图:

  

  下载完成后,双击节点-v6.9.2 - x64.MSI”,开始安装node.js,点击下一步。需要注意的是node.js默认安装目录是“C:程序文件Nodejs”。您可以点击更改来修改该目录。一般来说,我是在“D:程序文件Nodejs”下安装的

  安装完成后,检查path环境变量是否配置了node.js,点击start=>Run=>并输入“CMD”=>输入命令“path”,查看输出结果中是否有node的安装目录

  最后,测试节点是否安装成功

  单击start=>Run=>并输入“CMD”=>输入命令“node-V”和“NPM-V”以显示如图所示的结果,表明安装成功

  

  1.2Anyproxy安装

  单击start=>Run=>并输入“CMD”=>输入命令“NPM install-G anyproxy”。安装完成后,输入命令“anyproxy-I”以启动anyproxy

  打开浏览器,输入localhost:8002,然后打开anyproxy界面

  

  2.手机模拟器安装

  我试过好几种模拟器,我觉得Mumu模拟器很好用,它是网易生产的,有一定的质量保证,下载地址:,你可以在官网上下载安装

  3.网络配置和证书安装

  首先,检查本地IP地址,单击start=>Run=>并输入“CMD”=>输入命令“ipconfig”检查您的IP地址,如图所示

  

  然后在模拟器上打开浏览器,输入您找到的IP:8002。如图所示:

  

  单击rootca安装证书

  

  在模拟器上,单击设置、WLAN和配置代理

  

  

  @在4.simulator上安装微信

  通过Mumu模拟器上的应用中心安装微信

  

  电脑终端,打开浏览器,进入localhost:8002,打开电脑模拟器微信,访问任意官方账号,查看电脑浏览器,可以看到微信请求包。p>

  在环境准备好之后,让我们开始分析接口和相关的重要参数

  首先,让我们讨论一些重要参数

  下面是一些重要的接口

  抓取官方账号文章需要先有一个入口,很多文章都是从旧的文章入口开始的。获取第一个页面的HTML,获取脚本标签16中msglist变量的值,获取第一个页面的内容,然后通过接口请求JSON数据来获取其他页面的数据为了得到喜欢和看数字,在整个过程中需要三个接口

  其实爬网的整个过程,可以优化。我们可以合并第一个和第二个界面,只需要两个界面,就可以完成官方账号文章列表和抓取的点数。p>

  获取列表数据界面,通过修改偏移量控制页数,计数不能大于10,即一页最多10项

  "/mp/profile_ext?action=getmsg&__biz="+__biz+"&f=json&offset="+offset+"&count=10&appmsg_token="+appmsg_token+"";

  第二个接口是获取喜欢的数量。在计数接口中,请注意这是一个post请求

  "/mp/getappmsgext?f=json&__biz="+__biz+"&appmsg_token="+appmsg_token+"&fasttmplajax=1";

  需要上传请求正文

  "mid="+mid+"&sn="+sn+"&idx="+idx+"&is_only_read=1"

  通过这两个界面,您可以获得任意官方账号的所有文章和官方账号中的点数,这里我们要注意列表请求最好间隔2秒,点数为2秒,否则微信会被封存,无法访问公众号,其他功能不受影响,24小时自动解封。p>

  微信公众号文章batch采集,到此结束。如果您有任何问题,请留言讨论~~

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线