跟我一起学docker(16)--单节点mesos集群

Mesos简介

什么是MESOS?

Apache Mesos 是一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行 Hadoop、MPI、Hypertable、Spark。

几个基本概念:

Mesos master:负责任务调度的节点。

Mesos slave:负责执行任务的节点。

Mesos 框架:需要由mesos调度的应用程序,比如hadoop、spark、marathon、chronos等。

Mesos实现了两级调度架构,它可以管理多种类型的应用程序。第一级调度是Master的守护进程,管理Mesos集群中所有节点上运行的Slave守护进程。集群由物理服务器或虚拟服务器组成,用于运行应用程序的任务,比如Hadoop和MPI作业。第二级调度由被称作Framework的“组件”组成。Framework包括调度器(Scheduler)和执行器(Executor)进程,其中每个节点上都会运行执行器。Mesos能和不同类型的Framework通信,每种Framework由相应的应用集群管理。上图中只展示了Hadoop和MPI两种类型,其它类型的应用程序也有相应的Framework。

Mesos Master协调全部的Slave,并确定每个节点的可用资源,聚合计算跨节点的所有可用资源的报告,然后向注册到Master的Framework(作为Master的客户端)发出资源邀约。Framework可以根据应用程序的需求,选择接受或拒绝来自master的资源邀约。一旦接受邀约,Master即协调Framework和Slave,调度参与节点上任务,并在容器中执行,以使多种类型的任务,比如Hadoop和Cassandra,可以在同一个节点上同时运行。

单节点mesos集群

安装依赖包

Centos7.1

1.下载rpm包

sudo rpm -Uvh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

2.安装

sudo yum -y installmesosphere-zookeeper

sudo yum -y install mesosmarathon

3.配置

设置/var/lib/zookeeper/myid作为唯一标识(1-255)讲的是单节点直接设置成1

配置mesos连接的zk,文件位置:/etc/mesos/zk(例如:zk://1.1.1.1:2181,2.2.2.2:2181,3.3.3.3:2181/mesos)

配置mesos master的法定值(一个节点挂了,立马另一个节点起起来,目前是1台机器,直接填写1;如果是5台机器,一台机器挂了,这里的数字应该填3,也就说3台机器认为一台机器可以当master这台机器太可以当master),文件位置:/etc/mesos-master/quorum

4.启动

启动zookeeper:service zookeeper start

启动mesos-master:service mesos-master start

启动mesos-slave:servie mesos-slavestart

5.验证

访问web页面:http://:5050

执行mesos命令:

MASTER=$(mesos-resolve `cat/etc/mesos/zk`)

mesos-execute --master=$MASTER--name="cluster-test" --command="sleep 5"

原文地址:http://blog.51cto.com/12040702/2141342

时间: 2024-10-03 00:49:01

跟我一起学docker(16)--单节点mesos集群的相关文章

跟我一起学docker(17)--多节点mesos集群

多节点mesos集群 1.配置master 配置文件:/etc/default/mesos 增加配置:IP=192.168.30.3(当前节点IP) 2.配置slave节点 配置文件:/etc/default/mesos 增加配置:IP=192.168.30.4(当前节点IP) 配置slave节点的master 配置文件:/etc/mesos/zk 配置:zk://192.168.30.3:2181/mesos 3.启动slave节点: 启动命令:service mesos-slavestart

ActiveMQ的单节点和集群部署

平安寿险消息队列用的是ActiveMQ. 单节点部署: 下载解压后,直接cd到bin目录,用activemq start命令就可启动activemq服务端了. ActiveMQ默认采用61616端口提供JMS服务,使用8161端口提供管理控制台服务,执行以下命令以便检验是否已经成功启动ActiveMQ服务: ps -aux | grep activemq netstat -anp | grep 61616 此外,还可直接访问管理页面:http://ip:8161/admin/ ,用户名和密码可以

Redis(二)CentOS7之Redis单节点与集群部署安装

一 Redis单机安装 1 Redis下载安装 1.1 检查依赖环境(Redis是C语言开发,编译依赖gcc环境) [[email protected] redis-4.0.10]$ gcc -v -bash: gcc: command not found [[email protected] redis-4.0.10]$ yum install -y gcc 1.2 解压文件到指定目录 [[email protected] software]$ wget http://download.red

Kafka单节点及集群配置安装

一.单节点 1.上传Kafka安装包到Linux系统[当前为Centos7]. 2.解压,配置conf/server.property. 2.1配置broker.id 2.2配置log.dirs 2.3配置zookeeper.connect 3.启动Zookeeper集群 备注:zookeeper集群启动时,先启动的节点因节点启动过少而出现not running这种情况,是正常的,把所有节点都启动之后这个情况就会消失! 3.启动Kafka服务 执行:./kafka-server-start.sh

使用Minikube运行一个本地单节点Kubernetes集群

使用Minikube是运行Kubernetes集群最简单.最快捷的途径,Minikube是一个构建单节点集群的工具,对于测试Kubernetes和本地开发应用都非常有用. ⒈安装Minikube Minikube是一个需要下载并放到路径中的二进制文件.它适用于Windows.Linux和OSX系统. Github地址:https://github.com/kubernetes/minikube,上面有详细的安装过程,我们可以借鉴官方的安装方法进行安装. 我的是Centos7系统,执行以下命令:(

基于Docker快速搭建多节点Hadoop集群--已验证

Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,并且支持快速搭建任意节点数的Hadoop集群. 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说.他们还没开

项目进阶 之 集群环境搭建(三)多管理节点MySQL集群

上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点MySQL集群和多管理节点MySQL集群 上一篇的博客中,我们搭建的MySQL集群架构中,只存在一个管理节点,这样搭建的集群可以用如下所示的结构表示. 仔细分析上图就会发现,上图所示的单管理节点MySQL集群存在当唯一的管理节点由于网络.断电.压力过大等各种原因宕机后,数据节点和SQL节点将会各自为

在Docker下搭建Spark+HDFS集群

在Docker下搭建Spark+HDFS集群 1.      在VM中安装Ubuntu OS并实现root登录 (http://jingyan.baidu.com/article/148a1921a06bcb4d71c3b1af.html) 安装Vm增强工具 http://www.jb51.net/softjc/189149.html 2.      安装Docker docker安装方法一 ubuntu14.04以上的版本都是自带docker安装包的:所以可以直接安装:但是这个一般不是最先版本

基于Docker的Consul服务发现集群搭建

原文:基于Docker的Consul服务发现集群搭建 在去年的.NET Core微服务系列文章中,初步学习了一下Consul服务发现,总结了两篇文章.本次基于Docker部署的方式,以一个Demo示例来搭建一个Consul的示例集群,最后给出一个HA的架构示范,也会更加贴近于实际应用环境. 一.示例整体架构 此示例会由一个API Gateway, 一个Consul Client以及三个Consul Server组成,有关Consul的Client和Server这两种模式的Agent的背景知识,请