CentOS7部署Apache Mesos
Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。Mesos使用了与Linux内核相似的规则来构造，仅仅是不同抽象层级的差别。Mesos从设备（物理机或虚拟机）抽取 CPU，内存，存储和其他计算资源，让容错和弹性分布式系统更容易使用。Mesos内核运行在每个机器上，在整个数据中心和云环境内向应用程序（Hadoop、Spark、Kafka、Elastic Serarch等等）提供资源管理和资源负载的API接口。
Apache Mesos工作原理
Apache Mesos采用了Master/Slave结构来简化设计，将Master做得尽量轻量级，仅保存了各种计算框架（Framework）和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还可以使用Zookeeper解决Master单点故障。
Mesos Master充当全局资源调度器角色，采用某种策略算法将某个Slave上的空闲资源分配给某个Framework，而各种Framework则是通过自己的调度器向Master注册进行接入。Mesos Slave则是通过收集任务状态和启动各个Framework的Executor。工作原理图如下。
Apache Mesos配置要求
本实验都是使用的CentOS7系统，因为Mesos配置最低要求内核为3.10以上。
[[email protected] ~]# uname -r
3.10.0-693.el7.x86_64试验环境
| 主机名 | IP地址 |
|---|---|
| master | 192.168.58.152 |
| slave | 192.168.58.162 |
安装步骤
当前的Mesos支持三种语言编写的调度器，分别是C++、Java、Python，可以向不同的调度器提供统一的接入方式
配置java环境
首先从官网上下载JDK软件包，地址为https://www.oracle.com/technetwork/java/，可以选择合适的版本下载，我这里使用的jdk-8u91-linux-x64.tar.gz。
[[email protected] ~]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
#将jdk包解压到指定目录中
[[email protected] ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
[[email protected] ~]# source /etc/profile
#将java添加到环境变量中，方便识别安装相关环境
- 安装开发工具
[[email protected] ~]# yum groupinstall "Development tools" -y安装完后，使用yum group list查看已经安装的工具组。
- 添加apache-maven源
为Mesos提供项目管理和构建自动化工具的支持[[email protected] ~]# wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
- 安装相关依赖包
[[email protected] ~]# yum install -y apache-maven python-devel zlib-devel libcurl-devel > openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel - 配置WANdiscoSVN网络源
[[email protected] ~]# vim /etc/yum.repos.d/wandisco-svn.repo
[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco- 配置Mesos环境变量
[[email protected] ~]# vim /etc/profile
export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
[[email protected] ~]# source /etc/profile- 构建Mesos
我们这里采用的是源码编译的方式安装，当然也可以使用yum仓库的安装方式[[email protected] ~]# wget http://archive.apache.org/dist/mesos/0.25.0/mesos-0.25.0.tar.gz #首先先下载mesos软件包 [[email protected] ~]# tar xf mesos-0.25.0 #将mesos软件包解压到当前目录 [[email protected] ~]# cd mesos-0.25.0/ #进入到解压完的目录中 [[email protected] mesos-0.25.0]# mkdir build/ #创建一个build目录，具体为什么这么操作，参考http://mesos.mydoc.io/官方文档 [[email protected] mesos-0.25.0]# cd build/ [[email protected] build]# ../configure #进入到build目录中，注意是../configure，因为configure在上一层目录中 [[email protected] build]# make #注意这个环节时间特别长，要有耐心 [[email protected] build]# make check #make编译完后，进行测试，最后可能会有两个报错，不过不影响 [[email protected] build]# make install #最后就是安装另外可能在make过程中会有下图报错，那是由于网络原因，导致部分文件无法下载，导致超时退出，将build目录下文件都删除，重新编译安装即可。
由于安装Mesos时间比较长，所以这里推荐安装一台，其他的都使用克隆，wmworkstation14的克隆十分方便，要善于利用。配置单台Mesos-Apache与Mesos-slave
配置Mesos-master
Mesos-master负责维护slave群集的心跳，从slave中提取资源信息，配置之前应该先做好相应的解析工作。
[[email protected] ~]# hostnamectl set-hostname master #将本机的主机名改为master [[email protected] ~]# vim /etc/hosts 192.168.58.152 master 192.168.58.162 slave #在hosts文件中写入ip和主机名的对应关系 [[email protected] ~]# ping slave PING slave (192.168.58.162) 56(84) bytes of data. 64 bytes from slave (192.168.58.162): icmp_seq=1 ttl=64 time=0.262 ms ^C --- slave ping statistics --- 1 packets transmitted, 1 received, 0% packet loss, time 0ms rtt min/avg/max/mdev = 0.262/0.262/0.262/0.000 ms #可以使用主机名，直接ping通 [[email protected] ~]# ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master #这是建立软链接，方便使用mesos的相关命令配置启动Mesos-master
[[email protected] ~]# mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 #--work-dir：运行期间数据的存放路径，包含sanbox、slave meta信息 #--log——dir：日志存放路径 #--no-hostname_lookup：是否从DNS获取主机名，这里是关闭这个功能，直接从本地hosts文件获取 #--ip：Mesos进程绑定的IP配置完成后可以使用浏览器访问本地的5050端口进行验证，记得关闭防火墙和SELinux。
vm14克隆介绍
vm14的克隆功能很强大，首先需要先关闭被克隆的虚拟机。
配置Mesos-slave
Mesos-slave负责接受并执行来自Mesos-master传递的任务以及监控任务状态，手机任务使用系统的情况，配置之前也要先做好相应的解析工作。
[[email protected] ~]# hostnamectl set-hostname slave #将Mesos-slave服务器主机名改为slave [[email protected] ~]# vim /etc/hosts 192.168.58.152 master 192.168.58.162 slave #和Mesos-master一样Mesos 0.20.0 开始支持通过 Docker 镜像来启动任务，同时也支持部分的 Docker 参数。当然我们计划在未来支持更多的参数。用户可以将 Docker 镜像作为一个任务启动，也可以作为一个 Executor 启动。为了运行支持 Docker 容器的 slave，在启动slave的时候，你必须将 " docker" 作为 Containerizer （ 容器化 ）选项之一 。
[[email protected] ~]# yum install docker -y #先安装docker服务 [[email protected] ~]# systemctl start docker.service [[email protected] ~]# systemctl enable docker.service #启动docker服务已经设置为开机启动配置启动mesos-slave
[[email protected] ~]# mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data > --log_dir=/home/q/mesos/logs --master=192.168.58.152:5050 --no-hostname_lookup --ip=0.0.0.0 #--containerizers 支持docker虚拟化的slave #--master:指定mesos-master地址及端口运行后，刷新http://192.168.58.152:5050,可以看到有一个激活的mesos-slave。
原文地址：http://blog.51cto.com/10693404/2160468