Hadoop YARN配置参数剖析—RM与NM相关参数

  注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。

  1.    ResourceManager相关配置参数

  (1) yarn.resourcemanager.address

  参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。

  默认值:${yarn.resourcemanager.hostname}:8032

  (2) yarn.resourcemanager.scheduler.address

  参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

  默认值:${yarn.resourcemanager.hostname}:8030

  (3) yarn.resourcemanager.resource-tracker.address

  参数解释:ResourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳,领取任务等。

  默认值:${yarn.resourcemanager.hostname}:8031

  (4) yarn.resourcemanager.admin.address

  参数解释:ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。

  默认值:${yarn.resourcemanager.hostname}:8033

  (5) yarn.resourcemanager.webapp.address

  参数解释:ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息。

  默认值:${yarn.resourcemanager.hostname}:8088

  (6) yarn.resourcemanager.scheduler.class

  参数解释:启用的资源调度器主类。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

  默认值:

  org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

  (7) yarn.resourcemanager.resource-tracker.client.thread-count

  参数解释:处理来自NodeManager的RPC请求的Handler数目。

  默认值:50

  (8) yarn.resourcemanager.scheduler.client.thread-count

  参数解释:处理来自ApplicationMaster的RPC请求的Handler数目。

  默认值:50

  (9) yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb

  参数解释:单个可申请的最小/最大内存资源量。比如设置为1024和3072,则运行MapRedce作业时,每个Task最少可申请1024MB内存,最多可申请3072MB内存。

  默认值:1024/8192

  (10) yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores

  参数解释:单个可申请的最小/最大虚拟CPU个数。比如设置为1和4,则运行MapRedce作业时,每个Task最少可申请1个虚拟CPU,最多可申请4个虚拟CPU。什么是虚拟CPU,可阅读我的这篇文章:“YARN 资源调度器剖析”。

  默认值:1/32

  (11) yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path

  参数解释:NodeManager黑白名单。如果发现若干个NodeManager存在问题,比如故障率很高,任务运行失败率高,则可以将之加入黑名单中。注意,这两个配置参数可以动态生效。(调用一个refresh命令即可)

  默认值:“”

  (12) yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

  参数解释:NodeManager心跳间隔

  默认值:1000(毫秒)

  2. NodeManager相关配置参数

  (1) yarn.nodemanager.resource.memory-mb

  参数解释:NodeManager总的可用物理内存。注意,该参数是不可修改的,一旦设置,整个运行过程中不 可动态修改。另外,该参数的默认值是8192MB,即使你的机器内存不够8192MB,YARN也会按照这些内存来使用(傻不傻?),因此,这个值通过一 定要配置。不过,Apache已经正在尝试将该参数做成可动态修改的。

  默认值:8192

  (2) yarn.nodemanager.vmem-pmem-ratio

  参数解释:每使用1MB物理内存,最多可用的虚拟内存数。

  默认值:2.1

  (3) yarn.nodemanager.resource.cpu-vcores

  参数解释:NodeManager总的可用虚拟CPU个数。

  默认值:8

  (4) yarn.nodemanager.local-dirs

  参数解释:中间结果存放位置,类似于1.0中的mapred.local.dir。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。

  默认值:${hadoop.tmp.dir}/nm-local-dir

  (5) yarn.nodemanager.log-dirs

  参数解释:日志存放地址(可配置多个目录)。

  默认值:${yarn.log.dir}/userlogs

  (6) yarn.nodemanager.log.retain-seconds

  参数解释:NodeManager上日志最多存放时间(不启用日志聚集功能时有效)。

  默认值:10800(3小时)

  (7) yarn.nodemanager.aux-services

  参数解释:NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序

  默认值:“”

  原文链接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/

时间: 2024-10-05 04:58:29

Hadoop YARN配置参数剖析—RM与NM相关参数的相关文章

Hadoop yarn配置参数

参照site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 我们在配置yarn的时候只有充分了解各参数的含义,才能避免隐患.这些参数均在yarn-site.xml中配置 以下涉及的简写: RM :ResourceManager AM :ApplicationMaster NM :NodeManager 参数 默认值 描述 yarn.resourcemanager.hostn

hadoop yarn配置

namenode节点上配置Map/Reduce计算引擎跑在yarn这个资源调度平台上:<property><name>mapreduce.framework.name</name><value>yarn</value></property> namenode配置yarn-site.xml文件 指定resourcemanager在master节点上 <property><name>yarn.resourceman

Yarn 内存分配管理机制及相关参数配置

理解Yarn的内存管理与分配机制,对于我们搭建.部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考. 一.相关配置情况 关于Yarn内存分配与管理,主要涉及到了ResourceManage.ApplicationMatser.NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展.这里还有一个Container的概念,现在可以先把它理解为运行map/reduce task的容器,后面有详细介绍. 1.1  RM的内存资源配置, 配置的是资源调度相关 RM1

Hadoop - YARN NodeManager 剖析

一 概述 NodeManager是执行在单个节点上的代理,它管理Hadoop集群中单个计算节点,功能包含与ResourceManager保持通信,管理Container的生命周期.监控每一个Container的资源使用(内存.CPU等)情况.追踪节点健康状况.管理日志和不同应用程序用到的附属服务等. NodeManager是YARN中单个节点的代理,它须要与应用程序的ApplicationMaster和集群管理者ResourceManager交互;它从ApplicationMaster上接收有关

理解Hadoop YARN架构

1. 介绍 YARN(Yet Another Resource Negotiator)是一个通用的资源管理平台,可为各类计算框架提供资源的管理和调度. 其核心出发点是为了分离资源管理与作业调度/监控,实现分离的做法是拥有一个全局的资源管理器(ResourceManager,RM),以及每个应用程序对应一个的应用管理器(ApplicationMaster,AM),应用程序由一个作业(Job)或者Job的有向无环图(DAG)组成. YARN可以将多种计算框架(如离线处理MapReduce.在线处理的

Hadoop YARN中内存的设置

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离.ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”)后,NodeManager需按照要求为任务提供相应的资源,甚至保证这些资源应具有独占性,为任务运行提供基础的保证,这就是所谓的资源隔离. 基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源

Apache Hadoop YARN

1. Yarn通俗介绍Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率.资源统一管理和数据共享等方面带来了巨大好处.可以把yarn理解为相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操作系统之上的应用程序,Yarn为这些程序提供运算所需的资源(内存.cpu).l

Hadoop Yarn源码 - day1

Hadoop 2.6.0下面的关于Yarn工程,如下所示,主要有以下七个module: hadoop-yarn-api:和外部平台交互的接口 hadoop-yarn-applications hadoop-yarn-client hadoop-yarn-common:yarn client和server可以用到的一些实用工具 hadoop-yarn-registry hadoop-yarn-server:hadoop-yarn-api的具体实现 hadoop-yarn-server-applic

Hadoop -YARN 应用程序设计概述

一概述 应用程序是用户编写的处理数据的统称,它从YARN中申请资源完成自己的计算任务.YARN自身对应用程序类型没有任何限制,它可以是处理短类型任务的MapReduce作业,也可以是部署长时间运行的服务的应用程序.应用程序可以向YARN申请资源完成各类计算任务. 在YARN上开发一个应用程序,通常而言,需要开发两个组件,分别是客户端和ApplicationMaster,其中客户端主要作用是将应用程序提交到YARN上,并与YARN 和Application Master进行交互,查询应用程序的状态