站群文章采集器(站群文章采集器之微信公众号爬虫一、引擎配置)

　　站群文章采集器(站群文章采集器之微信公众号爬虫一、引擎配置)

　　站群文章采集器之微信公众号爬虫

　　一、引擎配置1.1useragent采集器下面一般会用到浏览器的引擎来抓取微信公众号的文章1.2设置useragent1.3采集规则配置爬虫的最终目的就是如何过滤出来文章的标题、正文、摘要信息？针对上面这个问题，

　　1、推送的推送时发生切换，那么推送到微信网页版上的会不一样，

　　1）后端使用https协议，推送到网页版的会全部变成https推送（requestpostget等都无法正常打开，

　　2）后端使用http协议推送到网页版，

　　3）后端使用https协议推送到网页版，则推送到微信推送器上，

　　2、同一个手机上，用户已经登录了多个微信号，

　　1）会同时在网页版的微信公众号上推送文章，但是这个时候再配置useragent和采集规则就行不通了，

　　2）如果多个手机号，就只有一个账号能打开文章，

　　1）手机号，

　　2）会将全部内容推送给一个网页版

　　3）只有一个账号打开了文章，

　　3、推送规则网页版的微信公众号不会同时推送给多个公众号，

　　1）切换网页端口，推送文章的时候，会自动使用其他手机浏览器（360浏览器，

　　2）默认页面使用静态页面，如果采集规则发生变化，没有相应规则页面的情况下，则会使用网页模拟。

　　二、cookie用户只要登录一个微信公众号，就可以保存相应的用户信息，

　　1、我们可以直接使用微信网页版绑定的cookie

　　2、需要我们的微信网页版，是动态网页，此时会通过我们程序自带的分享功能来绑定我们的cookie(动态网页的话，需要通过js页面，

　　3、使用爬虫软件，通过代理协议来获取用户信息，然后来采集微信公众号的文章。

　　比如我们要抓取官方公众号里面的文章

　　1、使用scrapyscrapy是流行的用python编写的异步流式网络爬虫框架，基于restapi，提供了丰富的http请求接口、响应解析接口以及网络请求sql数据库接口。scrapy致力于最快速，最流畅，最可靠的响应式web应用开发，可以从容不迫的发布和爬取*敏*感*词*的分布式爬虫系统。scrapy还可以与web服务器互联。

　　scrapy非常敏捷、扩展性也很强，官方提供了大量的web服务器代理，比如scrapy-redis，和scrapy-db，可以满足你的爬虫在。