Myriad简介与作用

Myriad开始由eBay、MapR和 Mesosphere合作了一个新项目,之后又把这个项目转交给了Mesos,“Project development has moved to: https://github.com/mesos/myriad.”再之后又把它移交给了Apache,真是项目大迁移啊!

一、介绍Myriad(从概念理解Myriad)

Myriad名字的意思是无数或及其很大的数字。

以下由github官网截取过来的,翻译水平有限哪个有错还请多多指教。

1、Myriad is a Mesos framework designed for scaling a YARN cluster on Mesos.

1、Myriad是为在Mesos上扩展YARN集群而设计的Mesos框架。

2、Myriad can expand or shrink the resources managed by a YARN cluster in response to events as per configured rules and policies.

2、Myriad可以针对每一项配置的规则和策略来扩展或缩放资源由YARN集群管理。

本人理解Myriad和其作用:

它是Mesos框架和YARN调度器的结合,它使得Mesos可以管理YARN的资源请求。当YARN中有作业请求资源时,YARN的资源管理器会先通过Myriad的调度器来调度,这样就可以和Mesos的资源申请和提供匹配起来。Mesos Master接下来会把调度请求发给Mesos的工作节点(Mesos Slave)。Mesos的工作节点会和Myriad的执行器(executor)进行通信并发送请求, Myriad执行器的作用是运行YARN的节点管理器(Node Manager)。当Myriad在Mesos分配的资源上加载YARN节点管理器后,YARN节点管理器就会和YARN的资源管理器通信来确定作业可用的资源。YARN可以以自己认为适合的方法来使用资源,Myriad则在Mesos可用的资源池和YARN的有资源需求的任务间提供了无缝的桥梁。

这种做法的优点是,它不仅让你在共享的集群中弹性的使用YARN,使得YARN比最初设计时更具活力和弹性。而且,它使得数据中心的运维团队在给YARN资源扩容时无需重新配置YARN集群。整个数据中心的扩容变得十分容易。该模型提供了一种简单的方式运行和管理多个YARN的实现,甚至在同一个集群上运行多个不同版本的YARN。

Myriad使得在使用Mesos时,资源利用和跨数据中心的资源管理得以统一。在这种情况下,YARN的工作负载是运行在共享的集群上,相比独立的YARN集群来说,更加动态和弹性。这个方法也使得数据中心维护团队可以扩展其资源以供给YARN(或者,从YARN拿走)而无须去重新配置集群。

二、Myriad的由来

当下比较火的两个资源统一管理与调度平台YARN与Mesos,比较他们两个的文字有很多在此就不多说其各异了。我只分下一个使用的场景:

YRAN:当一个作业请求提交到YARN的资源管理器,YARN会对可用的资源进行评估,并放置作业到相应的位置。这事一个作业应该去哪儿的决定。YARN并不是为长时间服务,或者短生命周期的交互式查询来设计的,虽然有可能让YARN去调度其它这些工作负载,但显然这不是个理想的模型。在没有大数据任务在队列中时,这些资源常常是未被充分使用的。当一个大数据任务运行时,这些资源迅速被用到极限,并且在请求更多资源。

Mesos:利用了两级调度机制,即资源的请求和提供是针对框架而不是作业,可以把框架视为在Mesos上面运行的应用。Mesos的master节点决策提供每个框架多少资源,每个框架接着决策它能接受的资源申请以及哪种应用可以在这些资源上运行。当集群中的节点共享多个框架时,这种资源分配方法可以获得近似最佳的数据本地化(data locality)。

当你把如何管理数据中心作为整体来评估时,一方面使用Mesos来管理数据中心的所有资源,另一方面使用YARN来安全的管理Hadoop任务,但它并不具有管理整个数据中心的能力。数据中心运营商倾向于把集群划分为的不同区域(Hadoop集群和非Hadoop集群)来应对这两个场景。

在同一个数据中心使用Mesos和YARN,为了受益于资源管理器,目前需要创建两个静态分区。此时意味着当指定资源被Hadoop的YARN管理时,Mesos就无法起作用。这也许过于简化了,尽管这么做确实有效。但本质上,我们是想避免这种情况。

能否让企业和数据中心受益于YARN和Mesos的协调工作?答案是Myriad。

时间: 2024-10-12 18:46:26

Myriad简介与作用的相关文章

光电耦合器简介以及作用

光电耦合器(简称光耦)全称为光电耦合器接口电路,是一种把发光元件和光敏元件封装在同一壳体内,中间通过电→光→电的转换来传输电信号的半导体光电子器件. 光电耦合器可根 据不同要求,由不同种类的发光元件和光敏元件组合成许多系列的光电耦合器.目前应用最广的是发光二极管和光敏三极管组合成的光电耦合器. 光耦以光信号为媒介来实现电信号的耦合与传递,输入与输出在电气上完全隔离,具有抗干扰性能强的特点.对于既包括弱电控制部分,又包括强电控制部分的工业 应用测控系统,采用光耦隔离可以很好地实现弱电和强电的隔离,

JavaScript简介及作用

JavaScript是一门脚本语言,是可以插入HTML页面的编程代码,插入HTML以后可以由所有现代浏览器运行 一.写如html输出 <body> <script> document.write("<h1>写入html输出,可以直接在页面上输出html内容</h1>"); </script> </body> 二.对事件做出响应 <body> <script> document.write(&

【IOS 开发】IOS 开发 简介 (IOS项目文件 | MVC 模式 | 事件响应机制 | Storyboard 控制界面 | 代码控制界面 | Retina 屏幕图片适配)

一. IOS 项目简介 1. IOS 文件简介 创建一个 HelloWorld 项目, 在这个 IOS 项目中有四个目录 : 如下图; -- HelloWorldTests 目录 : 单元测试相关的类和资源; (1) HelloWorld 目录 HelloWorld 目录介绍 : -- 命名规则 : 该目录名称与 IOS 项目名称相同, 是主目录; -- 存放内容 : IOS 项目的 源码文件, 界面设计文件, 资源文件都存放在该目录下; -- 源文件 : Objective C 的 .m 和

【Android应用开发】Android Studio 简介 (Android Studio Overview)

一. Intelij IDEA 环境简介 Android Studio 来源 : Android Studio 是 Intelij IDEA 的免费版本 + Android SDK 集成的; -- Intelij 文档参考 : https://www.jetbrains.com/idea/help/intellij-idea.html ; 1. Intelij 与 Eclipse 区别 (1) Intelij 与 Eclipse 对应关系 Android Studio 与 Eclipse 对应

Linux 内核入门简介

作者 : 韩曙亮 转载请出名出处 : http://blog.csdn.net/shulianghan/article/details/38636827 一. Linux 内核简介 1. 内核功能简介 (1) 操作系统 和 内核 简介 操作系统 : -- 功能 : 完成基本功能 和 系统管理; -- 组成 : 内核(kernel), 设备驱动程序(driver), 启动引导程序(bootloader), 命令行(shell), 用户界面(UI), 文件系统(filesystem), 管理工具;

在activity之间通过静态变量传递数据

在activity之间通过静态变量传递数据 一.简介 主要作用:解决intent不能传递非序列化的对象 评价:简单方便,不过intent方式更加简单和方便 二.具体操作 1.在传输数据的页面弄好数据,传递给接收数据的页面 Obj1 obj=new Obj1("fry",22); Activity01.obj=obj; 2.在接收数据的页面显示数据 输出obj即可 3.具体代码 传输数据的页面 Intent intent=new Intent();//初始化intent intent.s

Arm启动流程解析

谈到arm的启动流程不得不说的是bootloader,但是我这篇文章主要来谈谈arm启动流程的,所以bootloader只是跟大家简介一下就ok.这篇文章我会谈到以下内容: 1.bootloader简介以及其作用 2.2440.6410.210当下比较常见的3款处理器的启动流程进行简单分析,通过这三款处理器的分析希望大家掌握arm处理器的启动分析. Ok我们进入主题 l  Bootloader简介及其作用 在我看来bootloader的作用是初始化必要的硬件,引导内核启动.(当然这是主要作用,今

【嵌入式开发】 Bootloader 详解 ( 代码环境 | ARM 启动流程 | uboot 工作流程 | 架构设计)

作者 : 韩曙亮 博客地址 : http://blog.csdn.net/shulianghan/article/details/42462795 转载请著名出处 相关资源下载 :  -- u-boot 源码 : http://download.csdn.net/detail/han1202012/8342761 -- S3C2440 文档 : http://download.csdn.net/detail/han1202012/8342701 -- S5PV210_iROM_Applicati

Shape 各种属性详解

本文来自:http://blog.csdn.net/brokge/article/details/9713041 简介: 作用:XML中定义的几何形状 位置:res/drawable/文件的名称.xml 使用的方法: Java代码中:R.drawable.文件的名称 XML中:Android:background="@drawable/文件的名称" 属性: <shape>形状 Android:shape=["rectangle" | "oval