分布式技术
基于Java的小型分布式网路爬虫体系结构
采集交流 • 优采云 发表了文章 • 0 个评论 • 271 次浏览 • 2020-05-11 08:02
【IT168技术】分类
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见! 查看全部
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见! 查看全部
【IT168技术】分类
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见!
【Golang实现网路爬虫】分布式爬虫系统构架
采集交流 • 优采云 发表了文章 • 0 个评论 • 299 次浏览 • 2020-05-03 08:01
分布式系统是一个硬件或软件组件分布在不同的网路计算机上，彼此之间仅仅通过消息传递进行通讯和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于高昂的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。
从分布式系统的概念中我们晓得，各个主机之间通讯和协调主要通过网路进行，所以分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被置于不同的机柜上，也可能被布署在不同的机房中，还可能在不同的城市中，对于小型的网站甚至可能分布在不同的国家和地区。
不同的资料介绍起分布式系统的特性，虽然说法不同，但都大同小异，此处我们针对于要实现的分布式爬虫，总结为以下3个特征：
消息传递完成特定需求
消息传递的方式：
分布式系统的结构图：
一般对外会使用REST，模块内部会使用RPC，效率会更高一些，模块之前：中间件、REST
针对于目前我们遇见的问题，我们给予解决方案分布式爬虫架构，来设计分布式爬虫项目的构架：
1.限流问题
问题：
单节点承受的流量是有限
解决：
将Worker放在不同的节点
2.去重问题
问题：
单节点承受的去重数据量有限
无法保存之前去重结果(因为是存入到显存(map))
解决：
基于Key-Value Stroe(如Redis)进行分布式去重
3.数据储存问题
问题：
存储部份的结构，技术栈和爬虫部份区别很大
进一步优化须要特殊的ElasticSearch技术背景
解决：
存储服务
所以最终我们的分布式爬虫构架如下：
还有一个关键点：从Channel进化到分布式
之前我们为了实现并发，使用了大量的goroutine以及Channel。那我们就可以开启一个远程的RPC服务分布式爬虫架构，然后进行同步的调用。
RPC有很多种做法，本文采用jsonrpc。
源代码 查看全部
分布式系统是一个硬件或软件组件分布在不同的网路计算机上，彼此之间仅仅通过消息传递进行通讯和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于高昂的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。
从分布式系统的概念中我们晓得，各个主机之间通讯和协调主要通过网路进行，所以分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被置于不同的机柜上，也可能被布署在不同的机房中，还可能在不同的城市中，对于小型的网站甚至可能分布在不同的国家和地区。
不同的资料介绍起分布式系统的特性，虽然说法不同，但都大同小异，此处我们针对于要实现的分布式爬虫，总结为以下3个特征：
消息传递完成特定需求
消息传递的方式：
分布式系统的结构图：
一般对外会使用REST，模块内部会使用RPC，效率会更高一些，模块之前：中间件、REST
针对于目前我们遇见的问题，我们给予解决方案分布式爬虫架构，来设计分布式爬虫项目的构架：
1.限流问题
问题：
单节点承受的流量是有限
解决：
将Worker放在不同的节点
2.去重问题
问题：
单节点承受的去重数据量有限
无法保存之前去重结果(因为是存入到显存(map))
解决：
基于Key-Value Stroe(如Redis)进行分布式去重
3.数据储存问题
问题：
存储部份的结构，技术栈和爬虫部份区别很大
进一步优化须要特殊的ElasticSearch技术背景
解决：
存储服务
所以最终我们的分布式爬虫构架如下：
还有一个关键点：从Channel进化到分布式
之前我们为了实现并发，使用了大量的goroutine以及Channel。那我们就可以开启一个远程的RPC服务分布式爬虫架构，然后进行同步的调用。
RPC有很多种做法，本文采用jsonrpc。
源代码
基于Java的小型分布式网路爬虫体系结构
采集交流 • 优采云 发表了文章 • 0 个评论 • 271 次浏览 • 2020-05-11 08:02
【IT168技术】分类
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见! 查看全部
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见! 查看全部
【IT168技术】分类
分布式网路爬虫包含多个爬虫，每个爬虫须要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的c盘分布式爬虫架构，从中抽取URL并顺着这种URL的指向继续爬行。由于并行爬行器须要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。
根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类：
1、基于局域网分布式网路爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高速的网路联接互相通讯。这些爬虫通过同一个网路去访问外部互联网，下载网页，所有的网路负载都集中在她们所在的那种局域网的出口上。由于局域网的带宽较高，爬虫之间的通讯的效率能否得到保证;但是网路出口的总带宽上限是固定的，爬虫的数目会遭到局域网出口带宽的限制。
2、基于广域网分布式网路爬虫：当并行爬行器的爬虫分别运行在不同地理位置(或网路位置)，我们称这些并行爬行器为分布式爬行器。例如，分布式爬行器的爬虫可能坐落中国，日本，和英国，分别负责下载这三地的网页;或者坐落CHINANET，CERNET，CEINET，分别负责下载这三个网路的中的网页。分布式爬行器的优势在于可以子在一定程度上分散网路流量，减小网路出口的负载。如果爬虫分布在不同的地理位置(或网路位置)，需要间隔多长时间进行一次互相通讯就成为了一个值得考虑的问题。爬虫之间的通信带宽可能是有限的，通常须要通过互联网进行通讯。
大型分布式网路爬虫体系结构图
分布式网路爬虫是一项非常复杂系统。需要考虑好多方面诱因。性能可以说是它这重要的指标。当然硬件层面的资源也是必须的。
架构
下面是项目的总体构架，第一个版本基于此方案来做。
上面的web层包括：控制台、基本权限、监控展示等，还可以依据须要再一步进行扩充。
核心层由控制者统一调度，将任务发给工人队列中的工人进行爬取操作。各个结点动态的向监控模块发送模块状态等信息，统一由展示层展示。
项目目标
众推，开源版的明日头条!
基于hadoop思维的分布式网路爬虫。
目前早已将fourinone、jeesite、webmagic整合进来，并且进一步进行改进。想最终弄成一个基于设计器的动态可配置的分布式爬虫系统，这个是第一阶段的目标。
项目目前情况
目前项目进展情况：
1、sourceer，可以接入多种数据源，接口早已定义(加入builder封装，可以使用简单爬虫)。
2、web构架工程(web工程上传并测试成功，权限、基础框架改建，导入等早已录成视频，删除activiti，删除cms部分)。
3、分布式框架研究(分布式项目发包，添加部份注释，测试单机单工人爬取)。
4、插件化整合。
5、文章等各类去重形式及算法(目前已实现bloomfilter分布式爬虫架构，指纹算法去重，已经实现simhash，分词算法(ansj))。
6、分类器测试(bayes，文本分类单机测试成功)。
项目地址：
(分布式爬虫)
(去重过滤器)
(文本分类器)
(文档目录)
项目界面：
启动jetty，目前皮肤暂时还未换。
总结
目前项目正在进一步建立当中，希望能得到你更多的意见!
【Golang实现网路爬虫】分布式爬虫系统构架
采集交流 • 优采云 发表了文章 • 0 个评论 • 299 次浏览 • 2020-05-03 08:01
分布式系统是一个硬件或软件组件分布在不同的网路计算机上，彼此之间仅仅通过消息传递进行通讯和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于高昂的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。
从分布式系统的概念中我们晓得，各个主机之间通讯和协调主要通过网路进行，所以分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被置于不同的机柜上，也可能被布署在不同的机房中，还可能在不同的城市中，对于小型的网站甚至可能分布在不同的国家和地区。
不同的资料介绍起分布式系统的特性，虽然说法不同，但都大同小异，此处我们针对于要实现的分布式爬虫，总结为以下3个特征：
消息传递完成特定需求
消息传递的方式：
分布式系统的结构图：
一般对外会使用REST，模块内部会使用RPC，效率会更高一些，模块之前：中间件、REST
针对于目前我们遇见的问题，我们给予解决方案分布式爬虫架构，来设计分布式爬虫项目的构架：
1.限流问题
问题：
单节点承受的流量是有限
解决：
将Worker放在不同的节点
2.去重问题
问题：
单节点承受的去重数据量有限
无法保存之前去重结果(因为是存入到显存(map))
解决：
基于Key-Value Stroe(如Redis)进行分布式去重
3.数据储存问题
问题：
存储部份的结构，技术栈和爬虫部份区别很大
进一步优化须要特殊的ElasticSearch技术背景
解决：
存储服务
所以最终我们的分布式爬虫构架如下：
还有一个关键点：从Channel进化到分布式
之前我们为了实现并发，使用了大量的goroutine以及Channel。那我们就可以开启一个远程的RPC服务分布式爬虫架构，然后进行同步的调用。
RPC有很多种做法，本文采用jsonrpc。
源代码 查看全部
分布式系统是一个硬件或软件组件分布在不同的网路计算机上，彼此之间仅仅通过消息传递进行通讯和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机（相对于高昂的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。
从分布式系统的概念中我们晓得，各个主机之间通讯和协调主要通过网路进行，所以分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被置于不同的机柜上，也可能被布署在不同的机房中，还可能在不同的城市中，对于小型的网站甚至可能分布在不同的国家和地区。
不同的资料介绍起分布式系统的特性，虽然说法不同，但都大同小异，此处我们针对于要实现的分布式爬虫，总结为以下3个特征：
消息传递完成特定需求
消息传递的方式：
分布式系统的结构图：
一般对外会使用REST，模块内部会使用RPC，效率会更高一些，模块之前：中间件、REST
针对于目前我们遇见的问题，我们给予解决方案分布式爬虫架构，来设计分布式爬虫项目的构架：
1.限流问题
问题：
单节点承受的流量是有限
解决：
将Worker放在不同的节点
2.去重问题
问题：
单节点承受的去重数据量有限
无法保存之前去重结果(因为是存入到显存(map))
解决：
基于Key-Value Stroe(如Redis)进行分布式去重
3.数据储存问题
问题：
存储部份的结构，技术栈和爬虫部份区别很大
进一步优化须要特殊的ElasticSearch技术背景
解决：
存储服务
所以最终我们的分布式爬虫构架如下：
还有一个关键点：从Channel进化到分布式
之前我们为了实现并发，使用了大量的goroutine以及Channel。那我们就可以开启一个远程的RPC服务分布式爬虫架构，然后进行同步的调用。
RPC有很多种做法，本文采用jsonrpc。
源代码
