Containers Reserved yarn resourcemanager

yarn rm的管理页面中显示了集群的概况,其中有一个指标叫Containers Reserved .

预留的容器,为什么会预留,集群的资源使用饱合,新的app请求的资源一般会进入pending状态,为什么需要预留,

查阅资料说是,如果app申请的资源不太容易分配,比如新的app是一个计算密集型的,一个task需要6个vcores,其他任务需要一个,

则刚释放的资源如果不预留,就会被其他任务使用,而这样有失公平。

这也是yarn 公平调度器的一个特性,有关公平调度器的更多说明,请阅读:

Fair scheduler

有关yarn资源管理的最佳实践,我还阅读了另外一篇文章,不错,推荐在此:

Best Practices for YARN Resource Management

时间: 2024-07-31 18:58:26

Containers Reserved yarn resourcemanager的相关文章

yarn.resourcemanager.ha.id设置

resourcemanager启动报错,其中一个启动成功,另一个启动报8088端口被成功启动的rm占用 2016-11-18 17:08:49,478 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/hadoop/lib/native 2016-11-18 17:08:49,478 INFO org.apache.zookeeper.ZooKeeper: Client envir

通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA

<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses

Does not contain a valid host:port authority: Master:8031 (configuration property &#39;yarn.resourcemanager.resource-tracker.address&#39;)

问题解决: 这个错误是:yarn里面的配置的格式有错误:如: <property> <name>yarn.resourcemanager.address</name> <value>Master:8032</value> </property> <property> 在<value>标签之间不能有空格.去掉空格OK. 异常堆栈如下 2014-08-30 10:20:30,171 INFO org.apache.

Yarn resourceManager 无法启动

Yarn resourceManager 无法启动 错误日志: 在日志hadoop2/logs/arn-daiwei-resourcemanager-ubuntu1.log中 problem binding to [ubuntu1:8036] java.net.BindException: Address already in use; 错误原因: 因为在更改yarn-site.xml 时没有关闭所有yarn相关的节点,然后重启就会导致一些端口冲突问题. 解决方案: 关闭所有相关节点 修改所有已

Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3

ResourceManager High Availability (RM高可用) Introduction(简介) Architecture(架构) RM Failover(RM 故障切换) Recovering prevous active-RM's state(恢复之前活动的RM的状态) Deployment(部署) Configurations(配置) Admin commands(管理命令) ResourceManager Web UI services(RM Web UI服务) We

Hive3.1.1报错:The value of property yarn.resourcemanager.zk-address must not be null

先说一下环境,我用的是hadoop3.1.1 + zookeeper3.4.6 + hive3.1.1.采用多用户模式搭建hive,建表.导入数据等很正常.select如果是hdfs操作也很正常,但如果涉及到MapReduce操作就有个很奇怪的现象:每次启动hive以后,第一次select的时候可以正确执行,第二次同样的select语句就会报错. FAILED: Hive Internal Error: java.lang.IllegalArgumentException(The value o

YARN源码分析(三)-----ResourceManager HA之应用状态存储与恢复

前言 任何系统即使做的再大,都会有可能出现各种各样的突发状况.尽管你可以说我在软件层面上已经做到所有情况的意外处理了,但是万一硬件出问题了或者说物理层面上出了问题,恐怕就不是多写几行代码能够立刻解决的吧,说了这么多,无非就是想强调HA,系统高可用性的重要性.在YARN中,NameNode的HA方式估计很多人都已经了解了,那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识,并不是指简单的RM的HA配置,确切的说是RM的应用状态存储于恢复. RM应用状态存储使用 RM应用状态存储是什么意思呢,

Yarn 内存分配管理机制及相关参数配置

理解Yarn的内存管理与分配机制,对于我们搭建.部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考. 一.相关配置情况 关于Yarn内存分配与管理,主要涉及到了ResourceManage.ApplicationMatser.NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展.这里还有一个Container的概念,现在可以先把它理解为运行map/reduce task的容器,后面有详细介绍. 1.1  RM的内存资源配置, 配置的是资源调度相关 RM1

Yarn 调度器Scheduler详解

理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源.在Yarn中,负责给应用分配资源的就是Scheduler.其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景.为此,Yarn提供了多种调度器和可配置的策略供我们选择. 一.调度器的选择 在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,FairS ched