公平调度和容量调度的区别

公平调度是以pool为单位分配任务slots的，容量调度以queue的方式分配tasktracker的，当都只有一个job的时候，两种调度器都可以利用整个集群的资源，在每个pool内部可以是以FIFO方式调度也可以是公平方式调度，但是在queue内部只能是以FIFO方式调度，这是公平调度和容量调度的一个区别，虽然在queue内部可以设置优先级但是并不支持抢占，在pool内部是支持抢占的，就是可以为某个pool（通常是生产上的用户）分配最低的任务slot，当这个pool得不到最低的资源的时候他就会kill其他的job的task以使自己获得最低的资源，这并不会引起其他的job的失败，因为job也是master-slaver的结构，也是容错的

PS（hadoop权威指南中也描述过公平调度实际上也支持作业内QUEUE的FIFO作业调度使其类似于容量调度）

时间： 2024-10-10 14:40:46

公平调度和容量调度的区别的相关文章

yarn任务调度--capacity scheduler（容量调度） / fair schedule

2019/2/19 星期二 yarn任务调度--capacity scheduler(容量调度) / fair scheduler(公平调度)由于集群资源有限,当无法满足众多application 的资源请求时,yarn 需要适当的策略对application 的资源请求进行调度:Scheduler 概述Yarn 中实现的调度策略有三种:FIFO/Capacity/Fair Schedulers(1)FIFO Scheduler:将所有application 按提交的顺序排队,先进先出优点---

Hadoop-2.2.0中文文档—— MapReduce 下一代--容量调度器

开始->运行->gpedit.msc,打开策略组编辑器,在树状菜单中选 择计算机配置->管理模板->终端服务,在右侧窗口中打开"限制 连接数量",选择"已启用",修改"TS允许的最大连接数",确定 . 完成以上两步可以解决远程连接最大值你能为3个(包括本地控制台 )的问题.如果需要使多用户可以同时使用同一个用户名登录远程连 接,那么还需要进行一下设置: 开始->运行->tscc.msc,打开终端服务配置,点击&

Linux核心调度器之周期性调度器scheduler_tick--Linux进程的管理与调度(十八）

日期 内核版本 架构 作者 GitHub CSDN 2016-6-29 Linux-4.6 X86 & arm gatieme LinuxDeviceDrivers Linux进程管理与调度 我们前面提到linux有两种方法激活调度器:核心调度器和 一种是直接的, 比如进程打算睡眠或出于其他原因放弃CPU 另一种是通过周期性的机制, 以固定的频率运行, 不时的检测是否有必要 因而内核提供了两个调度器主调度器,周期性调度器,分别实现如上工作, 两者合在一起就组成了核心调度器(core schedu

异构云操作系统的集成与统一调度框架及调度方法

本发明公开的异构云操作系统的集成与统一调度框架,包括有资源收集模块.用户认证模块.统一调度模块及请求转化模块,资源收集模块.用户认证模块分别通过导线与统一调度模块连接,统一调度模块通过导线与请求转化模块连接,资源收集模块.请求转化模块分别通过导线与Elaster云操作系统.CloudStack操作系统及OpenStack操作系统连接.本发明还公开了上述集成与统一调度框架的调度方法.本发明的异构云操作系统的集成与统一调度框架解决了异构云操作之间资源无法共享,实现了对异构云操作系统的统一调度. 技术

Linux进程核心调度器之主调度器schedule--Linux进程的管理与调度(十九）【转】

转自:http://blog.csdn.net/gatieme/article/details/51872594 日期 内核版本 架构 作者 GitHub CSDN 2016-06-30 Linux-4.6 X86 & arm gatieme LinuxDeviceDrivers Linux进程管理与调度 我们前面提到linux有两种方法激活调度器:核心调度器和 一种是直接的, 比如进程打算睡眠或出于其他原因放弃CPU 另一种是通过周期性的机制, 以固定的频率运行, 不时的检测是否有必要 因而内

Linux调度器 - deadline调度器

一.概述 实时系统是这样的一种计算系统:当事件发生后,它必须在确定的时间范围内做出响应.在实时系统中,产生正确的结果不仅依赖于系统正确的逻辑动作,而且依赖于逻辑动作的时序.换句话说,当系统收到某个请求,会做出相应的动作以响应该请求,想要保证正确地响应该请求,一方面逻辑结果要正确,更重要的是需要在最后期限(deadline)内作出响应.如果系统未能在最后期限内进行响应,那么该系统就会产生错误或者缺陷.在多任务操作系统中(如Linux),实时调度器(realtime scheduler)负责协调实时

Go语言调度器之主动调度(20)

本文是<Go语言调度器源代码情景分析>系列的第20篇,也是第五章<主动调度>的第1小节. Goroutine的主动调度是指当前正在运行的goroutine通过直接调用runtime.Gosched()函数暂时放弃运行而发生的调度. 主动调度完全是用户代码自己控制的,我们根据代码就可以预见什么地方一定会发生调度.比如下面的程序,在main goroutine中创建了一个新的我们称之为g2的goroutine去执行start函数,g2在start函数的循环中反复调用Gosched()函

从零开始入门 K8s | 调度器的调度流程和算法介绍

导读:Kubernetes 作为当下最流行的容器自动化运维平台,以声明式实现了灵活的容器编排,本文以 v1.16 版本为基础详细介绍了 K8s 的基本调度框架.流程,以及主要的过滤器.Score 算法实现等,并介绍了两种方式用于实现自定义调度能力. 调度流程 调度流程概览 Kubernetes 作为当下最主流的容器自动化运维平台,作为 K8s 的容器编排的核心组件 kube-scheduler 将是我今天介绍的主角,如下介绍的版本都是以 release-1.16 为基础,下图是 kube-sch

Hadoop-2.4.1学习之容量调度器

调度器在计算机世界中占有重要地位,从操作系统到大型应用系统都可见其身影,做为分布式应用系统的典范Hadoop以可插拔的方式提供了调度器的功能,这为实现自定义的调度器提供了接口.Hadoop内置了两种类型的调度器,分别为:CapacityScheduler<和FairScheduler,本篇文章将学习CapacityScheduler.CapacityScheduler允许多个用户共享一个大的集群,并为每个用户分配指定的容量,这样每个用户的应用程序就可以在所分配的容量范围内快速获得资源,Capac