hdfs默认基本存储单元为64mb，hdfs的块比磁盘的块大得多，是为了减少寻址开销。如块大小是100mb，寻址时间在10ms，传输速率是100mb/s，则寻址时间是传输时间的1%
hdfs的三个重要角色：client，datanode，namenode
namenode相当于hdfs中的管理者，管理文件系统的命名空间。它维护着这个文件系统树以及树内所有的文件和索引目录。它会存储文件系统的metadata在内存中。
datdanode相当于hdfs中的工作者，是文件存储的基本单元。周期性地向namenode报告它所存储的block的列表
client就是获取hdfs文件的应用程序，通过与namenode、datanode交互来访问整个文件系统，client提供一个类似posix（可移植操作系统界面）的文件系统接口，因此用户在编程时不需要知道namenode、datanode及其功能。
（1）文件写入
- client向namenode发起写文件的请求
- namenode根据文件大小和文件块配置请看，返回给client它所管理的部分datanode的信息
- client将文件划分为多个block，根据datanode的地址信息，按顺序写入到每个datanode中
（2）文件读取
- client向namenode发起读文件请求
- namenode返回存储该文件的datanode的信息
- client读取文件
（3）block复制
- namenode发现部分文件的block不符合最小复制数或者部分datanode失效
- 通知datanode相互复制block
- datanode开始相互复制
时间： 2024-10-05 05:58:25