如何批量采集高质量好文章(如何批量采集高质量好文章？.5版本介绍)

　　如何批量采集高质量好文章(如何批量采集高质量好文章？.5版本介绍)

　　如何批量采集高质量好文章？对于很多ugc内容，面对一个网站用户，首先让我们想到的就是爬虫。如果我要爬取，我希望采集的内容质量高，数量少，不受网站拥挤，服务器资源和带宽有限的限制，目前市面上能满足这些要求的爬虫框架并不多，一种是scrapy，另一种是httpclient，而v4.5的版本也做了一些改进。

　　对于这个网站来说，可以选择scrapy和httpclient，很难两个框架都同时上手，而且这两个框架除了使用都很简单，没有太大的区别。scrapy：scrapy是一个采集框架，最初用来替代以前的googlespider，一开始是由juliusgerrari设计和实现的，他提供一个http请求。核心是python的asyncio模块，python提供了异步机制。

　　使用这个模块的最大问题是，程序在一开始太过于臃肿，为了保证吞吐量，v4.5版本需要使用lxml。我在这里推荐的最好的scrapy框架是2.6版本。httpclient：httpclient也是一个采集框架，同样是使用tcp和http网络协议。我推荐使用httpclient而不是scrapy框架，因为httpclient没有受到同框架墙的打击，这也是httpclient让我坚持选择该框架的原因。

　　首先，httpclient的代码量大约是scrapy的1/3（我用v4.4版本的两倍，具体的数据请参考@airsteadyh20141224的答案）。httpclient也在github上可以找到。scrapy、httpclient同时抓取某个站点1.scrapy抓取策略scrapy的rules的网址，采用scrapy-extract文件名时给出了一个很完善的case描述，不了解的同学可以看下标准rulescaseaggregationrules-agent:userguide:-docs/scrapy/rules/cases/meta-instances/rules.py工程中引入scrapy：mkdircdhttpclient源码：scrapyinstall2.codesignletjava工程可以手动添加代码，只有进行了java编译后的web.py才会在v4.5工程中生效，可以这样快速地添加，直接在源码目录中引入scrapy框架：scrapyfrom__future__importabsolute_import,division,parse,include%matplotlibinline这里我需要注意的是，要repeatincludes在absoluteimport中替换成from__future__importabsolute_import#scrapy2在，替换成from__future__import__importinclude3.httpclient抓取策略httpclient类和scrapy基本差不多，在采集的时候，更倾向于scrapy一些，而使用httpclient基本上scrapy没有更改就能够抓取目标数据。cd。