Yarn资源调度管理

1.ResourceManager(资源管理器RM)常驻守护进程：
　　管理集群资源，负责全局资源的监控、分配和管理；
　　接收来自nodemanager的心跳信息，进行整体资源的汇总；
　　监控Applicacation Master的开启和创建；

2.Nodemanager(节点管理器NM)常驻守护进程：
　　yarn中的每一台节点服务器都运行一个nodemanager，Nodemanager相当于管理当前机器的一个代理；
　　负责本台机器的程序运行，并且对本台机器资源进行管理和监控；
　　Nodemanager定时向ResourceManager汇报本节点的资源(cpu、内存)使用情况；
　　启动并监控Container(容器)；

3.Applicacation Master(应用节点)守护进程：
　　用户提交一个应用将会产生相对应的Applicacation Master(AM),AM常驻在　　Nodemanager上；
　　每个AM都需要与Nodemanager进行资源协商，将获取所需的资源(Container)用于任务(Task)的运行
　　监控任务(Task)的运行情况；
　　如果Task运行失败，它将负责为其重新申请资源和启动任务；

4.yarn调度方式

　　1.先进先出调度

　　2.容量调度

　　3.公平调度

原文地址：https://www.cnblogs.com/lyr999736/p/9381679.html

时间： 2024-12-20 14:37:13

Yarn资源调度管理的相关文章

YARN资源调度器

YARN资源调度器 随着Hadoop的普及,单个Hadoop集群的用户量越来越大,不同用户提交的应用程序往往具有不同的服务质量要求,典型的应用有以下几种: 批处理作业.这种作业往往耗时较长,对完成时间一般没有严格要求,如数据挖掘.机器学习等方面的应用程序 交互式作业.这种作业期望能及时返回结果,如用HIVE执行查询 生产性作业.这种作业要求有一定量的资源保证,如统计值计算.垃圾数据分析等 1. 基本架构 资源调度器是YARN中最核心的组件之一,且是插拔式的,它定义了一整套接口规范以便用户可按照需

Yarn 包管理工具

Yarn 包管理工具 介绍: Facebook出的,因为 node自带的 npm 包管理工具有缺陷 直接用 Yarn官网 的描述 : (注:查看官网的文档和下载安装包可能需要科学上网) 下载, 安装, 配置环境变量 下载 最新稳定版: v0.21.3,(2017.3.18 最新),有候选发布版本 v0.22.0 我把下载链接放在CSDN上: http://download.csdn.net/detail/xiaocong2015/9785955 5M左右,不大 安装 一直下一步,我安装在C盘,因

HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo

26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,--)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 26.1 HDFS使用 1.查看集群状态 命令:   hdfs  dfsadmin –report 可以看出,集群共有3个datanode可用 也可打开web控制台查看HDFS集群

YARN内存管理

总结一: 关于内存的配置总共有以下几个方面: 以下的示例数据为gdc中的配置 (1)每个节点可用于container的内存与虚拟内存 NM的内存资源配置,主要是通过下面两个参数进行的(这两个值是Yarn平台特性,应在yarn-sit.xml中配置) : yarn.nodemanager.resource.memory-mb  94208 yarn.nodemanager.vmem-pmem-ratio    2.1 说明:每个节点可用的最大内存,RM中的两个值不应该超过此值.此数值可以用于计算c

Hadoop学习之路(8)Yarn资源调度系统详解

文章目录 1.Yarn介绍 2.Yarn架构 2.1 .ResourceManager 2.2 .ApplicationMaster 2.3 .NodeManager 2.4 .Container 2.5 .Resource Request 及 Container 2.6 .JobHistoryServer 2.7.Timeline Server 3.yarn应用运行原理 3.1.yarn应用提交过程 3.2.mapreduce on yarn 4. yarn使用 4.1 .配置文件 4.2.

8、Yarn资源调度系统架构与原理分析

@[TOC] 1.Yarn介绍    Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目,为分离Hadoop2.0资源管理和计算组件而引入.YARN的诞生缘于存储于HDFS的数据需要更多的交互模式,不单单是MapReduce模式.Hadoop2.0 的YARN 架构提供了更多的处理框架,比如spark框架,不再强迫使用MapReduce框架.   从hadoop2.0 的架构图可以看出,YARN承担着原本由MapReduce承担的

yarn依赖管理工具的使用

Yarn是Facebook发布的一款依赖管理工具,它比npm更快.更高效. 与NPM命令对照 npm install => yarn install npm install --save [package] => yarn add [package] npm install --save-dev [package] => yarn add [package] --dev npm install --global [package] => yarn global add [packa

[Linux] ubuntu下yarn依赖管理工具的安装和使用

Yarn 对你的代码来说是一个包管理器, 你可以通过它使用全世界开发者的代码, 或者分享自己的代码.Yarn 做这些快捷.安全.可靠,所以你不用担心什么.通过Yarn你可以使用其他开发者针对不同问题的解决方案,使自己的开发过程更简单. 使用过程中遇到问题,你可以将其上报或者贡献解决方案.一旦问题被修复, Yarn会更新保持同步.代码通过 包(package) (或者称为 模块(module)) 的方式来共享. 一个包里包含所有需要共享的代码,以及描述包信息的文件,称为 package.json

yarn资源调度设置

下面配置的是两个队列default和etl, default队列分配20%的处理能力, etl队列分配80%的处理能力,用户dba只能向default队列提交作业,用户etl只能向etl队列提交作业,dba用户组只能向default队列提交任务: yarn.scheduler.capacity.maximum-am-resource-percent=0.2 --AM可以占用资源队列的最大百分比 yarn.scheduler.capacity.maximum-applications=10000