HDFS 可靠性
冗余副本策略
机架策略
心跳机制
安全模式
校验和
回收站
元数据保护
在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对 应关系的清单叫做块报告，会汇报给NameNode
Hadoop机架感知
集群中各个节点之间会相互传递信息包心跳机制
nameNode周期性从datanode接受心跳信号和块报告
nameNode根据块报告验证元数据
没有按时发送心跳的datanode会被标记为宕机，不会再给它任何I/O请求
如果datanode失效造成副本数量下降，并且低于预先设置的阈值，namenode会检测出 这些数据块，并在合适的时机进行重新复制
引发重新复制的原因还包括数据块损坏，磁盘错误，复制因子被大增
安全模式
NameNode启动时会经过一个"安全模式"阶段
安全模式阶段是不会产生数据写
在此阶段namenode收集各个datanode的报告，当数据块达到最小副本数以上时，会被 认为是"安全"的在一定比例（可设置）的数据块被确定为"安全"后，再过若干时间退
出安全模式
当检测到副本数不足的数据块时，该块会被复制到达最小副本数
校验和
在文件创立时，每个数据块都产生校验和
校验和会作为单独一个隐藏文件保存在命名空间下
客户端获取数据时可以检查校验和是否相同，从而发现数据块是否损坏
如果正在读取的数据块损坏，则可以继续读取其他副本
元数据保护
映像文件和事物日志是namenode 的核心数据，可以配置拥有多个副本
副本会降低namenode的处理速度，但增加安全性
namenode依然是单点，当宕机的时候需要手动切换
hadoop高可靠
时间： 2024-10-03 22:35:49