免费的文章采集平台(为什么选择采集微信公众号的文章？-八维教育)
优采云 发布时间: 2021-12-28 03:14免费的文章采集平台(为什么选择采集微信公众号的文章？-八维教育)
战天联盟是一个网赚内容的内容聚合平台。旨在为广大网赚爱好者和网赚站长提供最全面、最丰富的网赚资讯。
网赚爱好者可以在平台上学习最广泛的网赚技巧和经验。
同时，网赚站长们可以在平台上找到最新的网赚资讯，从中寻找灵感，并在此基础上结合自己的经验，在自己的网站上写出自己原创的网赚项目文章。
所以，在文章集的来源上，我们主要是从公众号采集
文章，一部分是采集
一些比较好的博客，自己写一些。
为什么选择在微信公众号上采集
文章？
1、高创意，减少我重新整理的时间
2、 互动性强，大部分文章倾向于与读者互动。非纯信息网站，发布后无互动
3、布局整洁，垃圾邮件很少采集
4、模板是固定的，不像很多博主经常更换博客模板，导致采集
规则失效
本站采集
了100多篇微信公众号文章。大部分公众号发布频率不高，但发布的文章都是干货。因此，目前一天可以采集
大约30-50篇原创文章。
看到有几个同学报名了战天联盟，私信问我公众号怎么采集
文章。简单的回复方法不是每个人都懂，所以我简单分享了我稳定采集
公众号内容的方法，是的，有需要的可以参考。
目前网站的收录频率是每70秒扫描一轮各个公众号发现的文章，每3分钟在网站上发布搜索到的文章。
先说一下原理：
在搜狗公众号（如：人民日报）上搜索公众号名称，在结果页找到公众号，得到网址（公众号首页，即文章列表页），访问抓取文章列表的网址（如果不点击公众号采集
文章，而是按关键词采集
相关文章，无需访问公众号文章列表页面），对比本地数据库，将新文章写入本地数据库，然后使用采集
软件发布到网站上
战天联盟刚成立的时候，是我第一次写公众号的规则。用来采集
网站或者博客，没有太多限制。在采集
公众号时，我一个接一个地遇到了多个问题。
采集
公众号文章时遇到的问题和优化步骤：
1、我用的是免费版的有财云采集器
（免费版运行15分钟后会自动停止，自制脚本会在ET停止时自动启动，所以可以24小时不间断运行日）
2、采集
前请参考公众号采集
思路（通过搜索关键词结果采集
），按公众号采集
规则书写。
3、一开始，我直接把微信公众号搜狗的几十个搜索结果页面放到一个文本里，然后用油彩云采集器
设备依次抓取这些页面的新文章，因为大数量多、频率高导致运行时间长，新文章爬不出来。该软件测试并爬取了源代码。发现要输入验证码，于是在浏览器中登录搜狗，用搜狗搜索公众号，输入验证码，将COOKIE导入ET，同时抓取频率变为每 15 秒一次。用不了多久，验证码就会留下来。15秒爬一次，也就是说100个公众号，跑一次需要1500秒，将近半个小时。这段时间太长了，后期可能会增加更多的公众号，所以只能用IP代理来抢了！！
4、优采云采集器
设备不能使用多个ip轮换代理，所以自己写个软件，购买一些ip代理爬取（远程编码功能没用，但我想解决它，即使你在编码，也可能会遇到未知的问题，比如ip被封，最后靠代理），把抓到的文章写到本地文件wx-artlist.txt，优采云
采集器
设备改为从文件中采集
新文章，完美解决了搜狗访问受限的问题。
5、 每天购买这些IP大约需要花费10~20元。后来想着这个费用能不能交，于是拿了手上的6个vps，申请了几个静安的免费位子。放个php文件，反向代理抓包，完美解决，成功省钱！
6、目前一天大概有100~200篇文章（不是全部可用，部分内容不匹配），抓取文章内容发布，还是用有财云采集器
设备，所以本地采集
目前没问题到问题（公众号首页不显示文章列表，不影响）
7、优采云采集器
官方采集
规则，内容过滤不好，我自己优化了一下，把一些乱七八糟的标签换成了段落标签或者换行符。
至今，稳定采集
近2个月
现在我每天早上起床开始采集
，晚上我关掉电脑。在此期间，我会自动采集
并发布到网站的文章回收站。有空的时候在回收站里找优质文章人工审核发布到网站。
有同学可能会问，为什么还要采集
数据进行人工审核？只需复制和粘贴。
1、 公众号图片不能外链。图片保存和上传非常麻烦。部分文章图片过多，5分钟内可能无法修复。采集
时间被保存。
2、 一一打开，看看哪个公众号适合采集
新文章（目前每天200篇，精选50篇）。这也需要时间。怎么会有直接显示新文章来得快的列表！
目前，该软件也在尝试采集
搜狗微信搜索到的“网赚”、“赚钱”等关键词的搜索结果，抓取最新文章。原理是一样的，差别不大。
让我先谈谈它。如果您的公众号文章不错，并且希望将您的公众号文章自动同步到战天联盟，您可以联系我们进行采集
。当然，如果您觉得您在本站采集
公众号影响了您的访问，您可以联系停止采集
您的公众号文章。
