分享:公众号文章采集的两种方案，搜狗和微信App采集

　　分享:公众号文章采集的两种方案，搜狗和微信App采集

　　更新于 2018-06-05

　　许多答案无用或不再有效，这是我的解决方案。

　　如果只采集公众号文章微信，要求不是很严格，可以去搜狗。这种方案成本低，相对简单，但缺点也很明显。这是一个临时的 文章 链接。如果要转成永久链接，还是要通过app界面。.

　　另一种解决方案是从微信APP本身添加抓取软件采集，成本会高很多，但是可以采集的数据类型很多，包括但不限于：历史页面文章 ，阅读喜欢，评论等。

　　为了更直观，我做了一张图来对比搜狗和微信App采集的两种方案。

　　我自己使用这两种方案，也提供封装好的接口。具体要求将取决于成本和场景来选择使用哪一种。

　　简单的一句话总结就是，搜狗有微信App，但搜狗没有微信App，但无论软硬成本，微信方案都比搜狗方案贵很多。

　　题外话，图片指的是微信中的搜索界面。我自己已经实现了，可以获取搜索公众号和文章的返回数据，只是作为微信批量添加软件的练习，因为这个接口用处不大，所以没有解包已打开，如果需要，可以单独联系我。很多人可能会认为采集和搜索界面不太可能给微信添加抓取软件，因为这个数据根本就不是http协议。但我想说的是，有时 采集data 不一定要在请求中截取。解决方案有很多，但成本也会变得非常大（开发成本和上线成本）。

　　另外，关于公众号文章的读物采集，可以看我的另一个回答知乎：

　　技术文章:为什么我的博客百度只收录了首页？

　　1.熊掌号和百度小程序

　　面对这种问题，首先要检查的是网站是否配置了熊掌ID和百度小程序。从目前来看，Bear's Paw ID 正在解决网站收录。锋利的武器。

　　对于企业网站来说，百度小程序的配置是一个快速的排名通道。从目前来看，仍是红利期。

　　建议有能力的企业网站可以尝试配置。

　　2. 网站信息架构

　　对于新站点，百度爬虫的爬取频率非常有限。如果你的网站信息架构设计不合理，一定程度上会影响网站收录中的相关页面。主要包括：

　　3.新站原创保护

　　一个全新的网站上线，而不是一个旧的域名，理论上，这个域名是没有可信度的。其实这个时候，我们需要尽可能的保留网站上的优质内容，先被索引，而不是被采集。为此原因：

　　4. 网站日志分析

　　对于网站的日志分析，是解决百度缺少收录网站其他页面的一个非常有效的工具。它可以清楚地了解用户和蜘蛛对整个站点的访问：

　　5. 网站资源分配

　　从多年的SEO经验来看，任何网站的收录排名都是基于一定的资源，包括：

　　网站内容质量

　　如果你的网站书伪原创代笔，或者采集内容，那么百度收录网站首页是很正常的。对于新网站，一定不要选择提交旧内容。

　　站外外部链接

　　出现页面没有被百度收录列出的另一个原因是缺乏外链资源的支持，蜘蛛无法第一时间抓取到新的内容。为此，您可能需要编写一些高质量的内容，发布在高权威网站上，并通过外部链接的形式，指向经常更新的页面。

　　站内链建设

　　与熊掌ID相比，其实我们可以忽略内链的存在，如果不配置熊掌ID，那么内链有利于提高新内容被发现的概率。

　　当您的页面长时间没有收录时，您可以适当利用内部链接来构建站点内的信息流。

　　总结：百度只有收录一个主页的原因有很多，以上只是一些小细节。