docker mesos集群资源调度平台

mesos原理与架构

首先,再次需要强调 Mesos 自身只是一个资源调度框架,并非一整套完整的应用管理平台,所以只有 Mesos 自己是不能干活的。但是基于 Mesos,可以比较容易地为各种应用管理框架或者中间件平台(作为 Mesos 的应用)提供分布式运行能力;同时多个框架也可以同时运行在一个 Mesos 集群中,提高整体的资源使用效率。
Mesos 对自己定位范围的划分,使得它要完成的任务很明确,其它任务框架也可以很容易的与它进行整合。

基本单元
Mesos 中有三个基本的组件:
管理服务(master)
任务服务(slave)
应用框架(framework)。

管理服务 - master
跟大部分分布式系统中类似,主节点起到管理作用,将看到全局的信息,负责不同应用框架之间的资源调度和逻辑控制。应用框架需要注册到管理服务上才能被使用。
用户和应用需要通过主节点提供的 API 来获取集群状态和操作集群资源。

任务服务 - slave
负责汇报本从节点上的资源状态(空闲资源、运行状态等等)给主节点,并负责隔离本地资源来执行主节点分配的具体任务。
隔离机制目前包括各种容器机制,包括 LXC、Docker 等。

应用框架 - framework
应用框架是实际干活的,包括两个主要组件:
调度器(scheduler):注册到主节点,等待分配资源;
执行器(executor):在从节点上执行框架指定的任务(框架也可以使用 Mesos 自带的执行器,包括 shell 脚本执行器和 Docker 执行器)。
应用框架可以分两种:一种是对资源的需求是会扩展的(比如 Hadoop、Spark 等),申请后还可能调整;一种是对资源需求大小是固定的(MPI 等),一次申请即可。

调度
对于一个资源调度框架来说,最核心的就是调度机制,怎么能快速高效地完成对某个应用框架资源的分配,是核心竞争力所在。最理想情况下(大部分时候都无法实现),最好是能猜到应用们的实际需求,实现最大化的资源使用率。
Mesos 为了实现尽量优化的调度,采取了两层(two-layer)的调度算法。

Mesos 拥有许多引人注目的特性,包括:

  • 支持数万个节点的大规模场景(Apple、Twitter、eBay 等公司实践);
  • 支持多种应用框架,包括 Marathon、Singularity、Aurora 等;
  • 支持 HA(基于 ZooKeeper 实现);
  • 支持 Docker、LXC 等容器机制进行任务隔离;
  • 提供了多个流行语言的 API,包括 Python、Java、C++ 等;
  • 自带了简洁易用的 WebUI,方便用户直接进行操作。

安装与使用

安装

安装主要需要 mesos、zookeeper 和 marathon 三个软件包。
Mesos 也采用了经典的主-从结构,一般包括若干主节点和大量从节点。其中,mesos master 服务和 zookeeper 需要部署到所有的主节点,mesos slave 服务需要部署到所有从节点。marathon 可以部署到主节点。

主机名 IP地址 安装服务
mesos-node1 192.168.132.131
mesos-master,mesos-slave,marathon,zookeeper,haproxy
mesos-node2 192.168.132.132 mesos-master,mesos-slave,marathon,zookeeper,haproxy
mesos-node3 192.168.132.133 mesos-master,mesos-slave,marathon,zookeeper,haproxy

源码编译

docker 安装

略过

zookeeper集群安装

略过

mesos+marathon集群部署(三台服务器上都要做同样的操作)

1、安装mesosphere仓库

rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

2、安装mesos和marathon

yum -y install mesos marathon

3、增加zookeeper配置

$cat /etc/mesos/zk
zk://192.168.132.131:2181,192.168.132.132:2181,192.168.132.133:2181/mesos

4、配置mesos-hostname

echo 本地IP地址 | tee /etc/mesos-master/ip
echo 本地IP地址 | tee /etc/mesos-master/hostname
echo 本地IP地址 | tee /etc/mesos-slave/ip
echo 本地IP地址 | tee /etc/mesos-slave/hostname
echo 2 > /etc/mesos-master/quorum #这个数字要大于安装的master节点的总数的0.5倍,即一半

5、配置mesos-master slave marathon开机自启动并启动

systemctl enable mesos-master mesos-slave marathon
systemctl start mesos-master mesos-slave marathon

6、分别编辑3台服务器的marathon,修改配置如下:

mkdir -p /etc/marathon/conf
cd /etc/marathon/conf
vim hostname
添加:
192.168.132.131 (其他2台为132,133)

重启服务命令:

systemctl restart mesos-master
systemctl restart marathon.service
systemctl restart mesos-slave

7、在浏览器打开任意一台服务的mesos

http://192.168.132.131:5050/

这里如果客户端显示不了的话,可以尝试清理mesos日志:
清理mesos:rm -rf /var/lib/mesos/*

8、配置marathon,使其可以创建docker容器(三台服务器上都要做同样的操作):

在所有mesos-slave上增加配置参数,并重启

# echo ‘docker,mesos‘ | tee /etc/mesos-slave/containerizers
# systemctl restart mesos-slave #重启Mesos-slave

9、在浏览器中打开marathon,默认端口8080

http://192.168.132.131:8080

原文地址:https://www.cnblogs.com/FRESHMANS/p/8446110.html

时间: 2024-10-07 00:27:25

docker mesos集群资源调度平台的相关文章

轻松搭建docker应用的mesos集群

7条命令在docker中部署Mesos集群 所有使用的Docker容器构建文件是有也.您可以在本地构建每个容器或只使用位于Docker Hub预构建的容器.下面的命令会自动下载所需的预建的容器为您服务.ZooKeeper?—?https://registry.hub.docker.com/u/garland/zookeeper/Meso Master?—?https://registry.hub.docker.com/u/garland/mesosphere-docker-mesos-maste

7条命令在docker中部署Mesos集群

7条命令在docker中部署Mesos集群 所有使用的Docker容器构建文件是有也.您可以在本地构建每个容器或只使用位于Docker Hub预构建的容器.下面的命令会自动下载所需的预建的容器为您服务.ZooKeeper?-?https://registry.hub.docker.com/u/garland/zookeeper/Meso Master?-?https://registry.hub.docker.com/u/garland/mesosphere-docker-mesos-maste

跟我一起学docker(17)--多节点mesos集群

多节点mesos集群 1.配置master 配置文件:/etc/default/mesos 增加配置:IP=192.168.30.3(当前节点IP) 2.配置slave节点 配置文件:/etc/default/mesos 增加配置:IP=192.168.30.4(当前节点IP) 配置slave节点的master 配置文件:/etc/mesos/zk 配置:zk://192.168.30.3:2181/mesos 3.启动slave节点: 启动命令:service mesos-slavestart

跟我一起学docker(16)--单节点mesos集群

Mesos简介 什么是MESOS? Apache Mesos 是一个集群管理器,提供了有效的.跨分布式应用或框架的资源隔离和共享,可以运行 Hadoop.MPI.Hypertable.Spark. 几个基本概念: Mesos master:负责任务调度的节点. Mesos slave:负责执行任务的节点. Mesos 框架:需要由mesos调度的应用程序,比如hadoop.spark.marathon.chronos等. Mesos实现了两级调度架构,它可以管理多种类型的应用程序.第一级调度是M

Docker Swarm集群初探

前言 相信Docker技术大家都有所了解,单个Docker能发挥的作用毕竟有限,也不便于管理,所以Docker得组集群来使用才能发挥强大的技术优势.既然要组集群那就涉及诸如Docker的资源调度.管理等等一系列问题.目前涉及Docker集群的三个主要的技术无外乎Swarm.Kubernetes.Mesos三种.从本文开始作者将会一一实践这几种主要的Docker集群技术,话不多说,现在开始. 注意:作者的kubernetes相关实践在此 环境准备 Mac OS X 10.13.2 Docker 1

OpenPAI:大规模人工智能集群管理平台介绍及任务提交指南

产品渊源: 随着人工智能技术的快速发展,各种深度学习框架层出不穷,为了提高效率,更好地让人工智能快速落地,很多企业都很关注深度学习训练的平台化问题.例如,如何提升GPU等硬件资源的利用率?如何节省硬件投入成本?如何支持算法工程师更方便的应用各类深度学习技术,从繁杂的环境运维等工作中解脱出来?等等. 产品定位: 为深度学习提供一个深度定制和优化的人工智能集群管理平台,让人工智能堆栈变得简单.快速.可扩展. 产品优势: ● 为深度学习量身定做,可扩展支撑更多AI和大数据框架 通过创新的PAI运行环境

容器集群管理平台的比较

容器化和微服务是当前最热话题,不久之前,笔者(据说因为现在都不用笔了,"笔者"的称谓已经不合适了,因为输入用键盘,叫"键人"更为合适)参加QCon上海一个微服务监控的Session,场面爆棚,我不得不在拥挤的过道听完了整个session.随着要管理的容器越来越多,容器的集群管理平台成为了刚需! Docker Swarm Swarm是Docker公司在2014年12月初新发布的容器集群管理工具.它可以把多个主机变成一个虚拟的Docker主机来管理.Swarm使用Go语

mesos 集群安装部署规划、准备(1)

一:简介 Mesos诞生于UC Berkeley的一个研究项目,现已成为Apache Incubator中的项目.Mesos计算框架一个集群管理器,提供了有效的.跨分布式应用或框架的资源隔离和共享,可以运行Hadoop.MPI.Hypertable.Spark.使用ZooKeeper实现容错复制,使用Linux Containers来隔离任务,支持多种资源计划分配. 1: 总体架构 Apache Mesos由四个组件组成,分别是Mesos-master,mesos-slave,framework

mesos 集群安装部署mesos-slave(6)

############################################################### Slave节点安装配置 ############################################################### 1:部署环境介绍: 服务器IP地址主机名安装服务 172.16.7.12ctn-7-12.ptmind.com mesos-slave 172.16.7.13ctn-7-13.ptmind.com mesos-slave