技巧:文章采集工具的优缺点有哪些？常用文本爬虫工具

　　技巧:文章采集工具的优缺点有哪些？常用文本爬虫工具

　　文章采集工具一般都分为几种，分别是baseline+posterlet、negotiator+posterlet、posterlet+webform、crackpth+posterlet，下面介绍各种传统采集工具的弊端和常用方式，并详细介绍一下常用工具的优缺点。对于老牌采集工具，比如travalenthost、wordpressmanpower/simplehost等，他们都是采集老外网站的，而采集老外网站时，他们的工具一般都是一篇篇的完整的文章进行采集，对于我们这些写英文博客的人来说，很难保证每篇文章都和上下文对应，需要采集过程中多次对文章进行编辑后发布；而老牌的工具，最大的问题就是对于常见的外文文本语言并不支持，例如中文、英文、德文、日文、韩文等等，对于中文的采集有些还不错，但是对于很多其他语言来说，往往只能采集到一半不到的信息，所以如果你想要自己编辑一篇符合你要求的外文网站，可能只能将文章稍微改变一下，降低一下难度，例如从网页内容或者语言改变一下，例如使用外语对于常见的文本采集工具来说，最大的缺点就是不能保证每篇文章都可以采集到，而采集文章难度较大，导致采集效率相对较低，对于更新速度比较快的外文网站比如matt365/lazykey/shadow等工具，需要经常加载不同的网站，加载一次的时间也非常长。

　　当然，对于常见的网站（我这里指外文常见网站，中文网站在这方面就很少）来说，使用电脑上的浏览器，至少需要安装两个，下载软件的软件和打开浏览器的浏览器，安装两个插件（如greasyfork/chromedriver/msi/googleapihelper）。下面介绍几种常见的文本爬虫工具，目的是让你使用他们的插件采集文章，并且经常对文章进行改动，换了浏览器，可以使用很多种方式对文章进行编辑和替换，甚至不需要对文章本身进行修改，posterlet、crackpth、wordpressmanpower可以直接替换他们的文章，但是很多初学者可能不知道如何使用，下面我将介绍常用插件和方法。

　　常用工具：filezillafilezilla+wordpressmanpower+jaeger（chrome+chromedriver+msi/googleapihelper）先讲一下filezilla工具，因为这是必要的工具，如果你是用的chrome浏览器（自带filezilla）或者mac系统，也可以考虑使用火狐浏览器（chromecanary）。

　　下载可以去thecultureofwordpress中的filezilla工具，也可以去thecultureofwordpress中找termp工具，我是使用ubuntu16.04系统，所以安装了filezilla工具（没有安装mysql的communitydatabaseforfilezilla），也正好，chrome的扩展termp可以下载filezilla工具，所以可以使用termp下载filezilla工具。在这里，我所说的需要的f。