HDFS的架构

HDFS开发

HDFS理论讲解

集群和分布式概念

• 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房
• 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群
• 分布式文件系统的结构
  • 主节点
  • 名称节点
  • 数据节点

HDFS架构

• 块
  • HDFS的文件被分成块进行存储
  • 块是文件存储处理的逻辑单元
• 块存储的优点
  • 支持大规模文件存储，一个大规模文件可以被拆成若干个文件块，不同的文件块可以被分发到不同的节点上
  • 简化系统设计
  • 适合数据备份

HDFS中的节点

• namenode
  • 是管理节点，存储元数据
  • 存储文件和数据块的映射表
  • 存储数据块和数据节点的映射表
  • 负责管理分布式文件系统的命名空间
• namenode数据结构
  • FsImage：维护文件系统树以及文件书中所有的文件和文件夹的元数据
  • EditLog：记录了所有针对文件的创建、删除、重命名等操作
• datanode
  • 是hdfs的工作节点，负责数据的存储和读取
  • 根据客户端或者是名称节点的调度来警醒数据的存储和检索
  • 定期向名称节点发送自己所存储的块的列表
  • 每个数据节点中的数据会被保存在各自节点的本地linux文件系统中
    

原文地址：https://www.cnblogs.com/hannahzhao/p/11756581.html