Mesos 热门框架

framework 是实际干活的,可以理解为 mesos 上跑的 应用,需要先注册到 master 上。

长期运行的服务

Aurora

利用 mesos 调度安排的任务,保证任务一直在运行。

提供 REST 接口,客户端和 webUI(8081 端口)

Marathon

一个 PaaS 平台。

保证任务一直在运行。如果停止了,会自动重启一个新的任务。

支持任务为任意 bash 命令,以及容器。

提供 REST 接口,客户端和 webUI(8080 端口)

Singularity

一个 PaaS 平台。

调度器,运行长期的任务和一次性任务。

提供 REST 接口,客户端和 webUI(7099、8080 端口),支持容器。

大数据处理

Cray Chapel

支持 Chapel 并行编程语言的运行框架。

Dpark

Spark 的 Python 实现。

Hadoop

经典的 map-reduce 模型的实现。

Spark

跟 Hadoop 类似,但处理迭代类型任务会更好的使用内存做中间状态缓存,速度要快一些。

Storm

分布式流计算,可以实时处理数据流。

批量调度

Chronos

Cron 的分布式实现,负责任务调度。

Jenkins

大名鼎鼎的 CI 引擎。使用 mesos-jenkins 插件,可以将 jenkins 的任务被 mesos 来动态调度执行。

ElasticSearch

功能十分强大的分布式数据搜索引擎。

数据存储

Cassandra

高性能分布式数据库。

转载请注明:http://blog.csdn.net/yeasy/article/details/46698419

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-07-30 17:16:38

Mesos 热门框架的相关文章

[经验交流] 设置 mesos 各框架资源使用比例

前段时间我在办公网搭建了一套mesos平台,用于docker 集群相关的调研和测试,mesos + marathon + docker 架构运行正常.但是在启用了chronos后,marathon无法再部署新的app. 查看 http://master1:5050/#/frameworks,发现 chronos 把所有资源都占用了.判断是此原因造成 marathon 无法部署新app. 通过查询参考文档,我按照如下设置把系统资源按比例分配给marathon和chronos,之后marathon又

颠覆大数据分析之Mesos:集群调度及管理系统

正如前面"Mesos:动机"一节中所述,Mesos的主要目标就是去帮助管理不同框架(或者应用栈)间的集群资源.比如说,有一个业务需要在同一个物理集群上同时运行Hadoop,Storm及Spark.这种情况下,现有的调度器是无法完成跨框架间的如此细粒度的资源共享的.Hadoop的YARN调度器是一个中央调度器,它可以允许多个框架运行在一个集群里.但是,要使用框架特定的算法或者调度策略的话就变得很难了,因为多个框架间只有一种调度算法.比如说,MPI使用的是组调度算法,而Spark用的是延迟

Mesos+Zookeeper+Marathon+Docker分布式集群管理最佳实践

参考赵班长的unixhot以及马亮blog 笔者QQ:572891887 Linux架构交流群:471443208 1.1Mesos简介 Mesos是Apache下的开源分布式资源管理框架,它被称为分布式系统的内核.Mesos最初是由加州大学伯克利分校的AMPLab开发,后在Twitter得到广泛使用. Mesos-Master:主要负责管理各个framework和slave,并将slave上的资源分配给各个framework. Mesos-Slave:负责管理本节点上的各个mesos-task

mesos 集群安装部署规划、准备(1)

一:简介 Mesos诞生于UC Berkeley的一个研究项目,现已成为Apache Incubator中的项目.Mesos计算框架一个集群管理器,提供了有效的.跨分布式应用或框架的资源隔离和共享,可以运行Hadoop.MPI.Hypertable.Spark.使用ZooKeeper实现容错复制,使用Linux Containers来隔离任务,支持多种资源计划分配. 1: 总体架构 Apache Mesos由四个组件组成,分别是Mesos-master,mesos-slave,framework

基于Mesos运行Spark

背景介绍 Spark有多种集群运行模式,例如:Standalone,Yarn,Mesos.      下面就说一下如何在Mesos上运行Spark,这也是官方推荐的一种运行方式.      在运行Spark之前咱们先简略介绍一下Mesos.      Mesos计算框架是一个集群管理器,提供了有效的.跨分布式的应用或框架的资源隔离和共享,可以运行Haoop,Spark,Marathon等多种框架.使用Zookeeper实现容错机制,使用Linux Containers来隔离任务,支持多种资源计算

Docker云Paas平台部署:Docker+Mesos+Marathon

针对“互联网+”时代的业务增长.变化速度及大规模计算的需求,廉价的.高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统.Docker及其相关技术的出现和发展,又给大规模集群管理带来了新的想象空间. 如何将二者进行有效地结合? 本人将以实验的角度来部署mesos + marathon的docker集群 一.谈谈mesos Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核.Mesos最初是由加州大学伯克利分校的AMPLab开

干货|Mesos分布式集群管理最佳实践

Mesos最开始由加州大学伯克利分校开发,推广于美国版的微博Twitter 是Apache下的开源分布式资源管理框架, 它被称为分布式系统的内核,相当于人的大脑. Mesos-Master是整个系统的"大脑",负责管理接入Mesos的各个framework(由frameworks_manager管理)和slave(由slaves_manager管理),并将slave上的资源按照某种策略分配给framework(由独立插拔模块Allocator管理). 示意图 Mesos-Slave负责

2016年总结

这个总结年前就想写了,一直拖到现在. 一直想找个合适的时机.合适的状态来写,但是反而是一直拖延,算了,直接写吧. 看了去年的总结,很简洁,但是今年的想写啰嗦点,因为我本来就比较啰嗦.慢慢写,慢慢想. 工作 不知道从哪里开始,就从工作开始吧. 现在就职的公司是一家外包公司,从2015年入职到现在有一年半时间了. 原本没想过会呆那么久,不过现在也有些小目标想在这家公司完成,如无意外,暂时不会离开. 对项目外包有了解的朋友可能知道,在这些公司里,有项目的时候就做项目,没项目的时候就闲着没事.对于没项目

容器公司拿到5千万A+轮,搞明白了传统企业生意经

(上图为数人云创始人及CEO王璞) 2016年11月,中国开源云容器工作组发布了<容器技术及其应用白皮书 V1.0>.<白皮书>指出,继虚拟化技术出现后,容器技术逐渐成为对云计算领域具有深远影响的变革技术.容器技术的发展和应用,为各行业应用云计算提供了新思路,同时容器技术也将对云计算的交付方式.效率.PaaS平台的构建等方面产生深远影响. 容器技术从2014年开始风靡全球,美国以 2013年Docker公司成立为标志.中国以2014年底的一批Docker容器公司为标志,出现了一波D