querylist采集微信公众号文章(querylist采集微信公众号文章大小为6m，方案根据需要调整)

　　querylist采集微信公众号文章(querylist采集微信公众号文章大小为6m，方案根据需要调整)

　　querylist采集微信公众号文章大小为6m，方案根据需要调整。内容采集：每个公众号对应的文章都可以采集下来，利用requests.session或者requests库即可抓取。内容爬取：对文章进行信息提取、选择、插入保存等等，利用workerman即可实现。会同步push到服务器上，另外抓取公众号的话还可以做二次更新。

　　文章采集通过mysql实现。这种方式对数据的要求较低，虽然抓取的时候有一定的延迟，但是每个微信公众号的文章数量有限，通过人工进行抓取就ok。对于内容爬取，每个微信公众号的文章数量有限，那么就需要尽可能多的建表，实现不同的爬取，好提取一些具有共性的特征信息，比如这里采集的一些词，那么他们的分类标签是属于哪一类的，每个分类标签有哪些人数关注人数等等。

　　这样的话就能够实现为每个公众号对应的采集，甚至每个公众号里面，有的文章数量较少。为了大家方便阅读，这里通过爬取到的词做统计，看看词频，然后根据那些词看看是不是能够比较方便的得到他们的分类。爬取到词语一览表这一篇大概就对爬取到的词进行了统计，这些词都是比较相关的，对于公众号一般经常读的或者一般常写的可以抓取到较为准确的词汇。

　　对于爬取到的词进行了一个下标统计：根据上图统计，可以看到，目前一共爬取了大概4000左右的词，每个词的上下最多只爬取了7个节点，而且还不是最大的。下一篇主要写实现内容爬取，如果爬取到的词类型比较多，还要分词的话，还有点麻烦。所以，就用代码实现一下吧。