微信公众号采集教程

优采云 发布时间: 2024-01-20 15:03

在此之前,我们的公众号采集是基于关键词搜索的,不支持对某个具体公众号进行采集。今天我们要介绍的,就是如何指定某个具体公众号进行采集,以下是详细教程。

一、环境配置

在开始使用公众号定向采集之前,您需要做一点环境配置,使您的手机或电脑通过我们的公众号采集专用代理上网,请参考下面的教程完成配置。

1. Windows系统专用代理环境配置教程

2. 安卓手机专用代理环境配置教程

3. 苹果手机专用代理环境配置教程

除了上述环境配置,您至少还需要一个软件:微信,不管是手机上的APP或者电脑版微信都可以,具体安装请自行解决。

专用代理只在授权公众号采集时需要,一旦授权完成,后面的网址抓取过程是不需要开启代理的。另外,专用代理开启时,除了优采云和微信公众号,你可能无法打开其他网页,这是正常现象,请完成授权后关闭代理即可恢复上网功能。每次开启或关闭代理后,请关闭浏览器重新打开页面。

二、采集授权

1. 如果您已经配置了上述公众号采集专用代理,接下来就可进行目标公众号的定向采集了。首先,从任务管理列表创建一个定向采集任务,不用添加定向目标,直接保存即可。

2. 点击任务上的定向设置按钮,再点击采公众号,就会看到公众号采集界面。

3. 任意输入一个目标公众号的文章网址,然后点击确定,系统会自动识别目标公众号。比如我们在微信中打开一篇文章,右上角菜单选择复制链接,

4. 系统已经识别到目标公众号是央视新闻,但没有授权,我们无法抓取它的网址。

5. 点击未授权按钮,会显示一个授权链接,点击下面的复制按钮。

6. 复制成功后,我们需要把链接粘贴到微信聊天中,然后点击打开。发给谁不重要,发出去能点击就行。比如我们可以发给文件传输助手:(这一步可以在电脑上操作,也可以在手机上操作,只要连接了专用代理即可。

7. 点击后,如果看到授权成功,说明系统已经收到授权。

       如果看到授权cookie无效,请返回微信检查如下设置是否正确,如果还是报错,刷新下网页,重新打开授权网址

8. 现在回到公众号采集界面,点击已完成,返回,会看到界面显示已经授权:

三、开始采集

注意:我们这里的采集,只是采集目标公众号的文章网址,并存放到URL直采中,这些文章网址是有一定有效期的,这是微信官方的限制。达到有效期后,再通过这些网址就抓取不到文章内容了,所以请少量抓取,用完再加

具体操作:

我们提供了两个输入框,一个是包含词,用于设定只采包含某些词的文章(只检查标题),多个词可以用空格分隔。另一个是页码范围,表示要采集目标公众号文章列表的哪几页,比如采第1页,我们就输入1,如果采1-10页,我们就输入1-10,一般情况下每页的网址数是10条,10页就是100条。

在抓取网址过程中,获取按钮会显示一个旋转图标,图标消失则代表抓取结束。需要提醒的是:

1. 微信授权有效期约为一天,过期后可重新授权。同一微信号可授权采集多个目标公众号,但建议每天抓取总数不要超过200页(约2000条文章网址),否则易被风控。

2. 风控后,当前微信号无法再授权公众号采集,但不影响微信使用。风控时间一般24小时,解封后可重新操作授权。

3. 如手上有多个微信号,可分别授权抓取不同的公众号,但不要在同一个微信客户端上授权

4. 这里抓取到的只是网址,并没有产生文章,需要系统运行采集任务,从这里调取文章网址,然后才会采集到文章。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线