什么是爬虫?scrapy爬虫实战-51cto学院内容采集器

　　什么是爬虫?scrapy爬虫实战-51cto学院内容采集器

　　内容采集器包括了各种内容的采集和收集，包括文章，媒体等等等等内容。我们会根据你的需求帮你搜寻合适的内容。

　　如果不是那么麻烦，应该用表格，不用文字太麻烦。

　　什么是爬虫?scrapy爬虫实战-51cto学院

　　下面的是采集器的图标：具体功能（收集的页面、数据，pdf等等）好像采集器自己开发的。

　　采集器的图标，

　　要看你爬虫要爬哪些内容，资料类的图标可以参考的像360采集器等，文章资料的可以参考明略采集器等。要是单纯想采集图片，

　　因为要进行采集，我就按照我所知道的有用的软件推荐下：采集内容有wordpress、strikingly、awesomescrapy等等软件，对于采集的要求不同，采集的软件也不一样。采集速度大概会是pc端和手机端的差不多吧，具体还要看采集的数据量以及数据比较复杂程度，反正越简单越快就好了。下面介绍一下我在使用的。

　　1、wordpress采集器，我们这里介绍的是python3版本，因为运行于chrome和python3上面，

　　2、strikingly采集器，如果用惯了前面的一些采集器，这个显然是你的首选，因为官方不支持web采集，但是支持pc和手机端等，

　　3、awesomescrapy，这个对于新手可能比较新鲜，还没有尝试，那么我简单介绍下：本身scrapy是google开发的一款基于chrome的采集框架，他的架构很简单，就是采集的时候会在页面任意位置采集指定样式的内容。在你在接受着他的收集数据时，他就会根据你采集样式来进行分析，收集你想要的内容。这样的话，为你节省了很多功夫，也省去了很多烦恼。

　　4、python3blogs网站采集器，还是google的项目，没有像scrapy那样的运行过程，所以在速度方面比上面几个有优势，他只支持google网站，在单页面采集的情况下甚至能够达到数倍速，这个是比他们各种extension快的。另外支持多标签采集，针对收集复杂内容，他甚至支持丰富的格式，这样就极大地提高了可用性，也很符合你要采集的要求。

　　综上所述，我的推荐就是前面三个，scrapy是google的，awesomescrapy可能支持多标签以及丰富的格式，但是用途更广，所以综合来说还是这个比较不错。另外python3blogs是基于chrome的，比起前面几个，特别是awesomescrapy，速度要快很多，对于手机和pc端的使用都很方便。