网页文章采集器(基于微信小程序使用feed采集器专业网页文章的方法)

　　网页文章采集器(基于微信小程序使用feed采集器专业网页文章的方法)

　　网页文章采集器专业网页文章采集器爬虫的本质是抓取网页里所有的数据，而feed采集器是一个网页数据采集器，是最常见的网页采集器之一。一般情况下，即时是复杂的网页，也能通过一个简单的api来采集，用以实现简单的网页采集。当然，采集效率也很重要，因为采集页面时，数据抓取效率越高，也就意味着每条数据抓取的成本越低。

　　这篇文章将介绍一下基于微信小程序使用feed采集器的方法。通过微信小程序搜索“feed采集器”，如下图所示。请保存到微信聊天界面，我目前在做的小程序里是这样的。如果你实在需要，你也可以在小程序里搜索“feed采集器”，或者小程序左下角的搜索框里搜索“feed采集器”，如下图。1.开发环境搭建因为feed采集器不是为普通用户设计的，我们也要搭建好自己的开发环境。

　　首先，需要在电脑里安装正确的chrome浏览器，在这里推荐chrome57或以上版本的浏览器。其次，需要把js文件放在微信的开发者工具的应用目录里。我的开发环境是电脑android手机分别下载了chrome浏览器和微信。然后把项目上传到微信小程序开发者工具目录下。我这里的网页文件，是经过压缩的js文件，（它们是文件名是const{attribute}=convert({post:'marxinggs',//jsonurl,location:'marxinggs'})}));然后，把文件传到电脑上的压缩包里，即二进制格式的js文件。

　　压缩包里的文件格式是json，解压后的文件如下图所示。tiff的编码方式是gbk，可以在api底部配置解码。接下来，就是如何进行爬虫的开发了。我使用的技术是bootstrap(bootstrap是由*敏*感*词*开发的,一个主流前端框架)，bootstrap之前叫bootframework，后来为了支持移动的使用，开发团队拆分成了两个版本，这个版本叫bootstrap3.x和bootstrap3.5，但是最后大家都习惯用3.x版本。

　　bootstrap的很*敏*感*词*现在已经无法适应移动应用的开发了，但是目前bootstrap3还有很多优秀的功能，值得研究。下面看看feed采集器的整个开发过程。2.模板动态刷新开发feed采集器，有时候需要改变一下feed的编码方式，或者对采集内容进行些额外的处理。这时候就可以直接使用bootstrap里的编码方式，不用像chrome那样进行编码转换。

　　这样也不会影响到首页页面的数据抓取，我们的开发环境是手机浏览器的chrome。我使用的bootstrap的node.jsapi是jsonp，我之前的feed采集器是直接调用它的网络请求方法。