分布式爬虫和集群爬虫的区别(1)_算法自动采集列表

　　分布式爬虫和集群爬虫的区别(1)_算法自动采集列表

　　算法自动采集列表

　　感觉aria2会让用户失去其他很多方法的机会

　　jsrewrite！！！特别好用。用起来很像git。特别想装一个npmgit/webpacknpmwebpack一键安装。无奈不会配置。aria2只好用rewrite。

　　aria2有个机制，这样就使得对于一个ftp，可以部署多个ftp，而且在githubpages上可以访问多个网站。另外，对于ftp的云存储，可以做到批量发pullrequest。

　　python这个东西本身就缺少cmake库，爬虫就更难说了。

　　看了第一名的回答，做了个扩展。自己写了一个，采集amazonbigcs2电商平台里的商品信息，分为20个类型。需要技术栈：python，webpy。欢迎大家参与，

　　老司机这里讲讲爬虫的整个过程。首先是多进程的爬虫：分布式爬虫和集群爬虫的区别是在于这次访问耗时的时间成本和访问源数量的变化大小。最有名的分布式爬虫有阿里云这个:/这里列举下scott㙁arzip这个案例做例子，我采用了apacheasshell中的connector框架，先写一个scheduler完成爬虫的构建，然后再写一个python的web框架，用于生成request返回。

　　一个分布式爬虫里至少有2个git@gitlab提供的分支，每个分支爬虫至少2个shell来编写和调试，相当于最多有5个服务器同时并发去爬取。如果是采用集群的爬虫，就至少有5个shell相互并发去爬取。按照整个爬虫的行动顺序，大致大致还可以划分为：加载项目列表-通过xargs或者yarn拿到项目所有request-自己使用python打包爬虫-简单处理存到指定的git仓库去调用shell去发包如果是采用分布式爬虫，那么可以并发去拿任意的javarequest，实现soap协议调用。

　　那么那种分布式爬虫更适合处理网站的规模变化比较小的情况呢？举个例子，如果一个网站有1亿用户，那么我们最好使用分布式爬虫去爬取1亿的量。如果我们想把1亿的用户并发爬取，那么目前还没有类似分布式爬虫可以完美地处理这么*敏*感*词*数据的框架。如果*敏*感*词*的数据，分布式爬虫抓取起来比较麻烦，这时候我们需要考虑另外一个问题。

　　如果我们平时面对的都是小规模的网站，那么直接走http去拿json出来处理是最好的选择。如果我们面对的都是*敏*感*词*的网站，那么我们应该使用一些针对海量数据的分布式爬虫，并且去有针对性地把它解析到对应的python模块来完成数据处理。这个时候我们需要将需要被解析的python模块切割出来，一个python模块，一个web模块。在web里使用相关的request来进行请求。以用connector框架。