根据关键词文章采集系统(botfan基于robots协议进行非侵入爬取，botfan采集系统效果展示)

　　根据关键词文章采集系统(botfan基于robots协议进行非侵入爬取，botfan采集系统效果展示)

　　根据关键词文章采集系统之botfan推送文章,简单的说就是基于爬虫的文章采集系统，实现文章的海量采集，botfan采集系统可以从一定数量的网站和微信公众号内采集文章并推送至大众手机或者网页端，botfan推送文章主要通过"爬虫"实现了一键爬取每日各大热门微信公众号的最新文章，以及各大重要新闻。botfan基于robots协议进行非侵入爬取，同时基于抓包技术破解相关网站的代理ip和ssl证书，使用user-agent抓取网站上的http请求，这种方式可以保证代理爬虫是安全的，因为爬虫并不知道爬取的文章都是什么类型的，而且作者也不希望爬取进来的信息是广告及不明的网站。

　　首先，将手机等带有采集功能的移动终端网页端刷新后点击"设置-人工采集"再次刷新的时候刷新chrome、firefox、谷歌浏览器的点击效果不同，详细见下图。botfan采集系统效果展示首先是chrome浏览器，如下图所示：其次是firefox浏览器，如下图所示：chrome浏览器效果如下图所示：而firefox浏览器则正是因为其对http协议友好而导致其爬取速度快于谷歌浏览器，所以现在大部分网站都禁止谷歌浏览器访问，暂时也不支持将爬取速度从海量的标题页爬取到独立详情页，其实谷歌浏览器还是可以正常访问很多网站的，只是速度较慢。botfan采集系统效果展示下面以chrome浏览器为例介绍下安装和使用：。

　　1、安装插件botfail——若有安装一些其他的插件依然无法正常使用请后台回复。

　　2、在浏览器的地址栏输入：/然后右键显示安装，并按照提示完成安装。

　　3、打开botfail编辑框或者框框内搜索chrome，并安装编辑器插件。

　　4、将这个项目下的插件拖拽进来，并选择喜欢的模板进行导入。

　　5、选择一个模板点击新建或者直接浏览器输入在地址栏中输入：，这里使用tabs模板，详细设置看startactivity运行效果。

　　同时为防止爬取的网站是已知的网站导致验证失败，

　　1、请选择chrome浏览器为网站登录，

　　2、登录一个已知的botfan采集网站并验证成功后，点击开始后台设置。

　　设置图如下所示：

　　5、安装完成后请点击左下角对应状态标识上的『启用』，并继续在其他浏览器中上传插件使用。ps：botfail是一个采集系统，不保证采集结果的准确性和更新速度。ps：botfan文章采集系统收费为开发者2.99元/人，后端开发1.49元/人。