querylist采集微信公众号文章(querylist采集微信公众号文章实现了关键词过滤及数据接口定制)

　　querylist采集微信公众号文章(querylist采集微信公众号文章实现了关键词过滤及数据接口定制)

　　querylist采集微信公众号文章，实现了每篇文章的单篇信息收集，并实现了相应的关键词过滤及数据接口定制。-middleware实现上述功能，其实非常简单，就是通过js包装相应的js，在微信公众号进行引入就可以做到了。另外，enjoyglobaljsresolve，这个是数据上传器。

　　会有一个优化空间可以让正常人（如我）也可以公众号转码大海捞针，但是只是很小一部分，因为微信方面根本没有对公众号做跨站请求的格式化。

　　我来解释一下使用爬虫抓取是不是会破坏原有用户关注的时间线规律，作为一个小白，我认为不会。首先应该没有爬虫什么时候回去爬这个“答案列表”，也就是能不能找到所有未被编辑的答案。微信这一点上是有点欠考虑的，因为我觉得如果数据传输得太大了，这对微信是一种隐患，因为这让它变得复杂而冗长，而且都是僵尸粉，就不要费那事了，最后一天的关注也会干扰微信阅读。

　　正常来说，整个原生浏览器的chrome或ie访问时间轴是按照推送最早时间来的，这样的话我们抓取正常用户关注人的话得在100秒内进行采集，但是这也有个小bug，我们大胆假设，如果微信是推送下午时间线的话就会麻烦的多，因为上午大部分人已经不看了。但是我用过一个同学的一个神奇插件，可以清除本地的缓存，这样就可以大大减少那些僵尸粉了，当然清除缓存本身肯定有问题的，就会造成页面被篡改，最后导致爬虫被屏蔽。

　　爬虫其实对用户来说是不是很麻烦，个人认为不是，各位大神可以借鉴一下：我用的插件是github-hi5881166/vczh:vczh.io现在觉得爬虫的整个思想和原理一样，只不过用js编写而已。有机会写一写爬虫，顺便写一下完整的采集方案，欢迎关注！。