全世界云服务器、大数据、信息系统仿真案例

　　全世界云服务器、大数据、信息系统仿真案例

　　文章采集系统仿真案例介绍：本案例将研究一个关于全世界云服务器、大数据、web服务器、文件管理服务器等信息系统的仿真系统。通过本案例，

　　一、抽象概念。

　　二、hadoop、hive和spark的相互关系

　　三、关于socket编程的重要知识。（socket编程几乎涵盖所有的编程中心，极大的拓展了我们在编程中的能力。由于socket被用于方方面面，而java语言本身很难去清楚表述程序逻辑所需要的各个层次的东西，因此hadoop框架的设计初衷就是提供一个方便的lib接口让我们使用，它的核心框架解决了内存管理、消息传递、io等原本应该在编程中必备的技术；）。

　　四、关于lamp的理解。（其实在之前已经介绍过传统架构和lamp架构的历史了，当时我们提到过apache大部分基于yaml、pmlk等，lamp是用hadoop框架生成的构建模型；lamp架构才是计算分布式架构的基础；apache因为开源建设的不成熟，数据库服务还是直接对接mysql，而新成立的cloudera只有mysql，而hadoop框架本身只支持mysql。所以我们需要继续重新架构spark的基础架构；）。

　　五、lamp的运行机制和spark的运行机制；（我们从spark概念进行引入：传统的架构是客户端把要操作的数据源地址发给client，由client进行与数据源进行建立tcp连接，从而存储tcp连接状态的变化，然后通过socket通讯进行传输；lamp架构与spark架构最大的不同是云服务器，从spark中对于客户端最主要的一个概念就是客户端是一个包含schema的虚拟机，所以云服务器要求对client实施和虚拟机一样的功能，要给客户端一个好的交互界面，而spark和lamp不同的是它更好的支持对schema之间的http/web访问，从而实现spark的api客户端，而且spark与opentsdb进行了集成，更好的进行了sql类型的转换；这些对hadoop来说相对较难。）。

　　六、hadoop模式。

　　七、mysql和sql的关系。

　　八、hadoop支持的和其他sql数据库集成。本案例中的代码虽然都是通过java语言开发的，但是，在具体编写的时候要掌握driver（可以理解为server，是类型转换工具类）和driverdatasource（是存储服务器，是类型转换工具类）中间的数据流；这样才能写出优美的代码。如果是其他语言编写的web服务器类要注意大量的特征转换，转换和类型转换过程。参考文献：《java编程思想》ggii：hadoop与lamp环境搭建。