网站内容更新机制( 2019年01月11日小编觉得内容挺不错的)

　　网站内容更新机制(

2019年01月11日小编觉得内容挺不错的)

　　Hadoop中namenode和secondarynamenode的工作机制说明

　　更新时间：2019年1月11日10:11:20 作者：qq_43193797

　　今天跟大家分享一下Hadoop中namenode和secondarynamenode的工作机制。我觉得内容挺好的。现在我把它分享给你。有很好的参考价值。有需要的朋友，跟着小编一起来看看吧。

　　1）流程

　　2)FSImage 和编辑

　　nodenode 是 HDFS 的大脑。它维护整个文件系统的目录树，以及目录树中的所有文件和目录。这些信息以两种类型的文件存储在文件系统中：一种是命名空间镜像（也称为文件系统镜像）。, File System Image, FSImage)，即HDFS元数据的完整快照。NameNode 每次启动时，都会默认加载最新的命名空间镜像。另一个是命令空间映像的编辑日志。

　　FSImage文件实际上是文件系统元数据的永久检查点，但并不是每次写操作都会更新这个文件，因为FSImage是一个大文件，如果频繁的写操作，系统会运行的非常慢。解决办法是NameNode只将改动预写到日志中，即写入namespace镜像的编辑日志。随着时间的推移，编辑日志会越来越大，所以一旦发生故障，会话会花费大量的时间来回滚操作，所以就像传统的关系型数据库一样，FSImage和编辑日志需要定期合并。如果合并操作是由NameNode完成的，那么NameNode在向集群提供服务时可能无法提供足够的资源。为了彻底解决这个问题，SecondaryNameNode 应运而生。

　　3）第一阶段：namenode启动

　　4）第二阶段：Secondary NameNode工作

　　默认情况下，此过程每小时发生一次，或者在 NameNode 的 Edit Log 文件达到默认的 64MB 时发生。

　　总结

　　以上就是本次文章的全部内容。希望本文内容对大家的学习或工作有一定的参考价值。感谢您对 Scripthome 的支持。如果您想了解更多，请查看以下相关链接