理解yarn平台,理解万岁,肤浅理解也万岁~

从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题,这就得多亏了yarn平台了。
我知道的,除了我们的大豆瓣用的是Mesos,咱们国家可以说应该是99.99%都使用的是yarn,
当然了,国外使用的大多是Mesos。(然而我对Mesos并不理解啥,只知道他和yarn一样的作用吧)

Hadoop1当中,MapReduce(一下就简称mr,原谅我不想多打字的烦恼,kkk~)的主从结构,让jobtracker的重任很大,
要接收客户端的请求,要分配任务给tasktracker,还要进行资源监控和作业调度,这会给主节点带来很大的负担,
而且,主节点存在单点故障的问题,而且也没办法支持除了mr之外的计算框架,这也导致mr的运算结果也没办法给别的计算框架直接使用。
所以在Hadoop2中yarn就应运诞生了。
下面是官方给的图,大大牛果然还是不一样的,一个图就基本上解释了yarn产生的原因和带来的好处。(好崇拜大大牛先生~kkk)

谈一下我对yarn如何进行资源调度的理解吧:
我自己画的图,太乱了,将就着看~
YARN 是Hadoop 2.0 中的资源管理系统,它是一个通用的资源管理模块,可为各类应用程序进行资源管理和调度。
这肯定是官方的。
注意:这里我只画了一个任务,但是可以有多个任务的,appmaster向resourceManager注册自己的时候就会告诉ResourceManager自己执行的是哪个任务,就可以区分了。

时间: 2024-10-31 04:05:30

理解yarn平台,理解万岁,肤浅理解也万岁~的相关文章

用Kotlin开发android平台语音识别,语义理解应用(olamisdk)

用Kotlin开发android平台语音识别,语义理解应用(olamisdk) http://blog.csdn.net/ls0609/article/details/75084994

cocos2d-x 中LUA和平台之间的函数调用理解

先看一张流程图如下: 第一步: 先把NDKHelper中的方法转成LUA中可以调用的,转得方法可参考quick中LUA的用法.这个类主要是中间桥梁的作用,它可以根据是什么平台调用IOSNDKHelper或者AndroidSNDKHelper,这些判断都是用C语言来写的.还有就是对一些回调函数的保存机制和平台要用LUA中一些方法的保存. 第二步: IOS平台需要处理的就是IOSNDKHelper,这个类主要就是接收和发送给NDKHelper数据的方法,还有一个就是加载IOS平台的BasePlatf

数据结构---在分内分彩平台出租存上理解链表

首先,在学习分内分彩平台出租haozbbs.comQ1446595067 数据结构中,对链表在内存上的理解非常重要,上代码public class LinkNode<M> {public M data;public LinkNode nextNode;br/>@Overridepublic String toString() {return "LinkNode [data=" + data + ", nextNode=" + nextNode +

[转帖]关于4A(统一安全管理平台)系统的理解

雪山上的蒲公英 https://www.cnblogs.com/zjfjava/p/10674577.html https://www.cnblogs.com/zjfjava/p/10674577.html 关于4A(统一安全管理平台)系统的理解 1. 4A系统的需求分析 近年来企业用户的业务系统发展十分迅速,内部的系统数和用户数不断增加,网络规模迅速扩大,在应用扩展的同时,各业务系统的安全管理工作相对滞后,无法满足企业发展的长期要求. 各系统中有大量的网络设备.主机和应用系统,分别归属于不同的

线代笔记 #01# 几何水平上的理解 VS. 数值水平上的理解

源: 线性代数的本质 内容来自字幕. Let me quote without further comment from Dieudonné's "Foundations of Modern Analysis, Vol. 1" There is hardly any theory which is more elementary than linear algebra, in spite of the fact that generations of professors and te

大话Hadoop1.0、Hadoop2.0与Yarn平台

2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012 近来这几天一直在忙于Hbase的实验,也没有太静下心来沉淀自己,今天打算写一篇关于Hadoop1.0.Hadoop2.0与Yarn的博文,从整体上把握三者之间的联系,博客内容如有问题,欢迎留言指正!OK,进入本文正题-- 在开始接触Hadoop的时候,也许大家对于Hadoop是下面的一个概念:Hadoop由两部

Hadoop学习14--Hadoop之一点点理解yarn

yarn是一个分布式的资源管理系统. 它诞生的原因是原来的MapReduce框架的一些不足: 1.JobTracker单点故障隐患 2.JobTracker承担的任务太多,维护Job状态,Job的task的状态等 3.在taskTracker端,使用map/reduce task表示资源过于简单,没有考虑cpu.内存等使用情况.当把多个需要消耗大量内存的task调度到一起时,很容易出现问题 演化后的基本组件 下面具体解释: yarn是一个资源管理的框架,而非计算的框架,理解这点很重要. 图中的A

微信开放平台开发(1) 语义理解

关键字:微信公众平台 微信开放平台 语义理解 semantic 作者:方倍工作室 原文:http://www.cnblogs.com/txw1958/p/weixin-semantic-analysis.html 微信开放平台语义理解接口调用(http请求)简单方便,用户无需掌握语义理解及相关技术,只需根据自己的产品特点,选择相应的服务即可搭建一套智能语义服务. 第一步:创建应用 请到“管理中心”创建应用,点击“创建移动应用”或者“创建网站应用”,填写相关资料,然后将该应用提交审核,只有审核通过

理解YARN Scheduler

介绍 在YARN中,资源调度器(Scheduler)是ResourceManager中的重要组件,主要负责对整个集群(CPU,内存)的资源进行分配和调度,分配以资源Container的形式分发到各个应用程序中(如MapReduce作业),应用程序与资源所在节点的NodeManager协作利用Container完成具体的任务(如Reduce Task). Scheduler以可插拔的形式来配置,框架默认提供了三种Scheduler: 1)FIFO Scheduler: 先进先出即先来后到.作业提交