大数据笔记04：大数据之Hadoop的HDFS（分布式文件系统）

1.HDFS是什么？

Hadoop分布式文件系统(HDFS)，被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。

2.HDFS中的基本概念

（1）块（block）

    " 块 " 是固定大小的存储单元，HDFS的文件被分成块进行存储，HDFS的块默认大小是64MB。文件传递过来之后，HDFS会把文件拆分成块进行管理，" 块"就是文件存储处理的逻辑单元。

（2）HDFS有两类节点： NameNode 和 DataNode

 • NameNode是HDFS的管理节点，存放文件元数据。

这里的元数据包括两个部分：

  --->1.文件与数据块的映射表

  --->2.数据块与数据节点的映射表

• DateNode是HDFS的工作节点，存放数据块。

3.HDFS体系结构：

客户想要访问数据，会先发请求给NameNode查询元数据。通过读取返回结果，知道文件存放在哪些节点上。于是到这些节点去拿数据库，下载完数据块之后，在组装拼装成完整的数据，也就是我们想要的文件。