Hadoop hdfs&mapreduce核心概念

1、HDFS（分布式文件系统体系）

1.1、NameNode:（名称节点）

Hdfs的守护程序

记录文件是如何分割成数据块的，以及这些数据块被存储到了哪些节点上

对内存和I/O进行集中管理

是个单点，发生故障将使集群崩溃

1.2、SecondaryNamenode（辅助名称节点）：发生故障进行人工的设置才能实现集群崩溃的问题

监控HDFS状态的辅助后台程序

每个集群都有一个

与NameNode进行通讯，定期保存HDFS元数据快照

与NameNode故障可以作为备用NameNode使用

1.3、DataName（数据节点）

每台服务器都运行一个

负责把HDFS数据块读写到本地文件系统

2、mapreduce

2.1、JobTracker（作业跟踪器）

用于处理作业（用户提交代码）的后台程序

决定由哪些文件参与处理，然后切割task并分配及诶单

监控task，重启失败的task

每个集群只有唯一的JobTracker，位于master节点

2.2、TaskTracker（任务跟踪器）

位于slave及诶单上，与datanode结合

管理各自节点上的task(由Jobtracker分配)

每个节点只有一个tasktracker,但每一个tasktracker可以启动多个jvm，用于并行执行map或reduce任务

与jobtracker交互

master：运行namenode sencondarynode jobtrack的服务器

slave：运行datanode和tasktrack的服务器

MapReduce

Hadoop hdfs&mapreduce核心概念