如何批量采集高质量好文章？(一)插件

　　如何批量采集高质量好文章？(一)插件

　　如何批量采集高质量好文章？在文字图片*敏*感*词*中经常会用到这个功能，俗称爬虫（看我博客的历史文章你就知道我怎么用这个功能了）。不少文章真的挺好看的，但是上传又太麻烦，也不能自定义排版，经常需要看一篇文章爬取一篇文章，所以这里做了个工具，多篇文章一键批量采集，只需要一行代码便可以。之前只是关注了我的后台，所以没想过把这个工具分享出来，结果这一次刷新了我的三观，原来可以这么简单。

　　先看看效果吧，用了这个工具基本上可以达到这样效果。有点小瑕疵，不过数据量不大，不会有严重bug。工具地址如下：文章全文采集工具这个链接有人说是病毒，所以我做了一个思维导图进行说明。包括一个采集工具的配置方法、爬虫内部一些细节，采集效果实例，和一些拓展爬虫功能使用的地方。下面详细说一下：。

　　1、采集操作方法初次在我的工具中操作需要先用fiddler来代理浏览器（很多网站都支持），一般浏览器都有fiddler的配置，所以就不再做详细说明了。

　　2、爬虫实例如果你用的是chrome浏览器，那么我们先来安装下油猴插件油猴插件的安装方法在我的爬虫相关文章中查看教程（注意右键打开方式选择博客文章页面），然后我们进入爬虫，我们要用到fiddler下载代理，具体实现很简单，就是利用浏览器提供的cookie加上我们修改过的代理，使用它来抓取文章。但是在开始要爬取文章之前，需要做几件事，本次采集我用了同步爬虫工具（可以一键将所有的抓取到的文章发布到对应站点）。

　　3、拓展功能使用实例这个能解决以下问题：由于很多网站的文章作者很少更新，没有良好的更新时间把控，所以可能他发布的文章并不能像我们快速找到一样干货强的。在这个看似简单的方法中，我们其实也能做一些新的尝试，比如从美国盗取一批人然后回国翻译给我们用。或者可以选择在更新主题文章时监控，这样一篇新的文章也可以用另一篇老的文章来替换，节省了不少时间。

　　当然我觉得这些不是重点，重点是这个插件能帮我们解决以下问题：转载时标注出处避免工作失误以及混淆文章底部copyright展示上传文件编辑时非图片格式为方便而做了以下改进不再要求文章中有特殊的东西，文章的主题名与作者名皆可，我尝试的是在所有标题中插入系列名使用文字进行数据提取，文字和数字的单位均为字符数。

　　这一点，由于采集速度比较慢，我花了大概2-3分钟提取一篇文章的主题并且匹配到原文我尝试过使用代码来提取整本书的内容，这一步费时，耗时在20分钟以上。这个工具在文章内容上没有做过多限制，也不需要加密，所以我觉得还算不错，爬虫效率上有。