MapReduce计算框架
将计算过程分为两个阶段：Map和Reduce
Map阶段并行处理输入数据；
Reduce阶段对Map结果进行汇总
Shuffle连接Map和Reduce两个阶段
Map Task将数据写到本地磁盘；
Reduce Task从每个Map Task上读取一份数据；
仅适合离线批处理
具有较好的容错性和扩展性；
适合批处理任务；
缺点：
启动Map/Reduce任务开销大、过多使用磁盘导致IO频繁等；
MapReduce On YARN（MRv2）
YARN负责资源管理和调度；ApplicationMaster负责任务管理；
MRAppMaster任务调度：
1）YARN将资源分配给MRAppMaster；
2）MRAppMaster进一步将资源分配给内部的任务；
MRAppMaster容错：
1）MRAppMaster失败后，由YARN重新启动；
2）任务失败后，MRAppMaster重新申请资源；
MapReduce On YARN工作原理
1）用户向YARN中提交应用程序/作业，其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等；
2）ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Containter中启动该作业的ApplicationMaster；
3）ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态，直到运行结束。即重复步骤4-7；
4）ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源；
5）一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务；
6）NodeManager启动任务；
7）各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicaitonMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；
在作业运行过程中，用户可随时通过RPC向ApplicationMaster查询作业当前运行状态；
8）作业完成后，ApplicationMaster向ResourceManager注销并关闭自己；
MapReduce On YARN