yarn对mapreducev1的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。

为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。

新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，

yarn对mapreducev1的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

来自为知笔记(Wiz)

时间： 2024-10-10 05:16:37

yarn对mapreducev1的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。的相关文章

关于重构的一些思想

1.抽象方法和非抽象方法 如果在类中定义了抽象方法,就是强制非抽象子类去实现.这样写的好处就是可以提醒子类需要复 写哪些方法,但是抽象方法不易过多,不需要强制实现的方法不要抽象化. 如果在类中定义了非抽象方法,可以给一个默认的实现,子类可以选择不复写,采用父类默认的实 现,也可以复写自定义实现. 应用场景: 抽取了一个带ListView的BaseListFragment,后来又有需求,需要一个带头的ListView的 Fragment,那么,就没有必要再写一个类继承BaseListFrageme

【宋红康程序思想学习日记2】逻辑与实现二进制转换成十六进制运算

/** 进制转化 二进制60转化为十六进制 */class WeiExercise2{ public static void main(String[] args) { int i=60;// 0011 1100 int b=i&15;//&15: 0000 1111=(0000 1100=12=b) //int c=b-10; //int d=(c>10)?c+'a':c;//d=b-10+'a'=='c'.得到c String k1=(b<=9)?b+""

我们把主从结构的页面重构成多个组件

多个组件 我们的应用正在成长中.现在又有新的用例:重复使用组件,传递数据给组件并创建更多可复用. 我们来把英雄详情从英雄列表中分离出来,让这个英雄详情组件可以被复用. 首先老规矩,我们得让我们的代码运行起来: 让应用代码保持转译和运行 我们要启动 TypeScript 编译器,它会监视文件变更,并启动开发服务器.只要敲: npm start 这个命令会在我们构建<英雄指南>的时候让应用得以持续运行. 制作英雄详情组件 目前,英雄列表和英雄详情位于同一个文件的同一个组件中. 它们现在还很小,但很

Yarn 详解

唐 清原, 咨询顾问 简介: 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架(Yarn) 原理,优势,运作机制和配置方法等:着重介绍新的 yarn 框架相对于原框架的差异及改进:并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法. 读者通过本文中新旧 hadoop map-reduce 框架的对比,更能深刻理解新的 yarn 框架的技术原理和设计思想,文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新

Hadoop新MapReduce框架Yarn详解

简介 本文介绍了Hadoop自0.23.0版本后新的MapReduce框架(Yarn)原理,优势,运行机制和配置方法等,着重介绍新的yarn框架相对于原框架的差异及改进,并通过Demo示例详细介绍了在新的Yarn框架下搭建和开发Hadoop程序的方法.读者通过本文中新旧Hadoop MapReduce框架的对比,更深刻理解新的yarn框架技术与那里和设计思想,文中的Demo代码经过微小修改既可用于用户基于Hadoop新框架的实际生产环境. Hadoop MapReduceV2(Yarn)框架简介

Hadoop MapReduceV2(Yarn) 框架

Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图: 图 1.Hadoop 原 MapReduce 架构 从上图中可以清楚的看出原 MapRed

Hadoop 新 MapReduce 框架 Yarn 详解

原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图: 图 1.Hadoop 原 MapReduce 架构 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 首先用户程序 (JobCli

yarn介绍

hadoop 1.0 mapreduce过程 主要问题: JobTracker 是 Map-reduce 的集中处理点,存在单点故障. JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracker fail 的风险,这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限. 在 TaskTracker 端,以 map/reduce task 的

hadoop MapReduce Yarn运行机制

原 Hadoop MapReduce 框架的问题 原hadoop的MapReduce框架图 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中心,他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上,需要管理所有 job 失败.重启等操作. TaskTracker 是 Ma