saltstack学习篇

参考链接：http://sofar.blog.51cto.com/353572/1596960/

http://sofar.blog.51cto.com/353572/1596960/

自动化运维工具SaltStack详细部署
2014-12-28 17:30:34
标签：saltstack
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://sofar.blog.51cto.com/353572/1596960
==========================================================================================
一、基础介绍
==========================================================================================
1、简介
SaltStack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、监控等功能，一般可以理解为简化版的puppet和加强版的func。SaltStack基于Python语言实现，结合轻量级消息队列（ZeroMQ）与Python第三方模块（Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等）构建。
通过部署SaltStack环境，我们可以在成千上万台服务器上做到批量执行命令，根据不同业务特性进行配置集中化管理、分发文件、采集服务器数据、操作系统基础及软件包管理等，SaltStack是运维人员提高工作效率、规范业务配置与操作的利器。
 
2、特性
(1)、部署简单、方便；
(2)、支持大部分UNIX/Linux及Windows环境；
(3)、主从集中化管理；
(4)、配置简单、功能强大、扩展性强；
(5)、主控端（master）和被控端（minion）基于证书认证，安全可靠；
(6)、支持API及自定义模块，可通过Python轻松扩展。

3、Master与Minion认证
(1)、minion在第一次启动时，会在/etc/salt/pki/minion/（该路径在/etc/salt/minion里面设置）下自动生成minion.pem（private key）和 minion.pub（public key），然后将 minion.pub发送给master。
(2)、master在接收到minion的public key后，通过salt-key命令accept minion public key，这样在master的/etc/salt/pki/master/minions下的将会存放以minion id命名的 public key，然后master就能对minion发送指令了。
 
4、Master与Minion的连接
(1)、SaltStack master启动后默认监听4505和4506两个端口。4505（publish_port）为saltstack的消息发布系统，4506（ret_port）为saltstack客户端与服务端通信的端口。如果使用lsof 查看4505端口，会发现所有的minion在4505端口持续保持在ESTABLISHED状态。

(2)、minion与master之间的通信模式如下：

5、本次测试环境

IP地址 角色 系统环境
10.133.33.85 master CentOS 6.3
10.130.87.151 minion CentOS 6.3
 
==========================================================================================
二、SaltStack基础安装与配置
==========================================================================================
1、依赖组件说明
http://docs.saltstack.com/en/latest/topics/installation/index.html

SaltStack的通信模式总共分为2种模式：ZeroMQ、REAT，鉴于REAT目前还不是太稳定，我们选择ZeroMQ模式，本次安装采用源码安装的方式。
 
解压源码后，这些文本文件里也有组件依赖相关说明哈：

2、SaltStack基础安装
(1)、python 2.7安装
https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz
# tar xvzf Python-2.7.8.tgz
# cd Python-2.7.8
# ./configure --prefix=/usr/local
# make --jobs=`grep processor /proc/cpuinfo | wc -l`
# make install
 
## 将python头文件拷贝到标准目录，以避免编译saltstack时，找不到所需的头文件
# cd /usr/local/include/python2.7
# cp -a ./* /usr/local/include/
 
## 备份旧版本的python，并符号链接新版本的python
# cd /usr/bin
# mv python python2.6
# ln -s /usr/local/bin/python
 
## 修改yum脚本，使其指向旧版本的python，已避免其无法运行
# vim /usr/bin/yum
#!/usr/bin/python  -->  #!/usr/bin/python2.6
 
(2)、PyYAML模块安装
http://pyyaml.org/download/libyaml/yaml-0.1.5.tar.gz
https://pypi.python.org/packages/source/P/PyYAML/PyYAML-3.11.tar.gz
http://pyyaml.org/download/pyyaml/PyYAML-3.11.tar.gz
# tar xvzf yaml-0.1.5.tar.gz
# cd yaml-0.1.5
# ./configure --prefix=/usr/local
# make --jobs=`grep processor /proc/cpuinfo | wc -l`
# make install
 
# tar xvzf PyYAML-3.11.tar.gz
# cd PyYAML-3.11
# python setup.py install

(3)、setuptools模块安装
https://pypi.python.org/packages/source/s/setuptools/setuptools-7.0.tar.gz
https://bitbucket.org/pypa/setuptools/get/7.0.tar.gz
# tar xvzf setuptools-7.0.tar.gz
# cd setuptools-7.0
# python setup.py install
 
(4)、markupsafe模块安装
https://pypi.python.org/packages/source/M/MarkupSafe/MarkupSafe-0.9.3.tar.gz
# tar xvzf MarkupSafe-0.9.3.tar.gz
# cd MarkupSafe-0.9.3
# python setup.py install
 
(5)、jinja2模块安装
https://pypi.python.org/packages/source/J/Jinja2/Jinja2-2.7.3.tar.gz
# tar xvzf Jinja2-2.7.3.tar.gz 
# cd Jinja2-2.7.3
# python setup.py install
 
(6)、pyzmq模块安装
http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
 
注意：
系统自带的autoconf版本为2.63，在编译ZeroMQ时，由于版本较低，会报错不通过，故需安装大于2.63的版本。
# tar xvzf autoconf-2.69.tar.gz
# cd autoconf-2.69
# ./configure --prefix=/usr
# make
# make install

 1 [[email protected] libsodium-1.0.1]# sh autogen.sh
 2 autoreconf: Entering directory `.‘
 3 autoreconf: configure.ac: not using Gettext
 4 autoreconf: running: aclocal -I m4 --output=aclocal.m4t
 5 This Perl not built to support threads
 6 Compilation failed in require at /usr/share/automake-1.11/Automake/ChannelDefs.pm line 23.
 7 BEGIN failed--compilation aborted at /usr/share/automake-1.11/Automake/ChannelDefs.pm line 26.
 8 Compilation failed in require at /usr/share/automake-1.11/Automake/Configure_ac.pm line 26.
 9 BEGIN failed--compilation aborted at /usr/share/automake-1.11/Automake/Configure_ac.pm line 26.
10 Compilation failed in require at /usr/bin/aclocal line 39.
11 BEGIN failed--compilation aborted at /usr/bin/aclocal line 39.
12 autoreconf: aclocal failed with exit status: 255
13
14
15 解决:
16 http://ruby-china.org/topics/2434
17 这些软件包都是在安装CoreSeek4.01时必须的。但后来者也代码升级，CoreSeek安装已经不需要。
18
19 手动安装以下软件
20 ###安装m4
21
22 wget http://mirrors.kernel.org/gnu/m4/m4-1.4.13.tar.gz \
23 && tar -xzvf m4-1.4.13.tar.gz 24 && cd m4-1.4.13 25 && ./configure --prefix=/usr/local
26 make && make install
27 cd ..
28 ###安装autoconf
29
30 wget http://mirrors.kernel.org/gnu/autoconf/autoconf-2.65.tar.gz \
31 && tar -xzvf autoconf-2.65.tar.gz 32 && cd autoconf-2.65 33 && ./configure --prefix=/usr/local
34 make && make install
35 cd ..
36 ###安装automake
37
38 wget http://mirrors.kernel.org/gnu/automake/automake-1.11.tar.gz \
39 && tar xzvf automake-1.11.tar.gz 40 && cd automake-1.11 41 && ./configure --prefix=/usr/local
42 make && make install
43 cd ..
44 ###安装libtool
45
46 ./configure --prefix=/usr/local 47 && tar xzvf libtool-2.2.6b.tar.gz 48 && cd libtool-2.2.6b 49 && ./configure --prefix=/usr/local
50 make && make install
51 cd ..
52
53
54
55 三、Linux上安装setuptools（（必须预先安装好python环境）
56
57 Debian/Ubuntu系统可以直接使用apt-get安装：
58 sudo apt-get install python-setuptools
59 RedHat/Centos系统可以直接使用yum安装：
60 yum install setuptool
61 手工安装的话，有两种方法：
62
63 方法一：通过引导程序 ez_setup.py 来安装。这个引导程序会联网下载最新版本setuptools来安装，同时也可以更新本地的setuptools。
64 wget http://peak.telecommunity.com/dist/ez_setup.py
65 sudo python ez_setup.py
66 更新setuptools：
67 sudo python ez_setup.py -U setuptools
68 方法二：下载setuptools的egg包，然后通过sh安装。
69 wget https://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg
70 sudo sh setuptools-0.6c11-py2.6.egg
71 方法三：源码编译安装
72 wget https://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz
73 tar zxvf setuptools-0.6c11.tar.gz
74 cd setuptools-0.6c11
75 python setup.py install

./autogen.sh执行报错问题

## 其他依赖库安装
# yum -y install libuuid.x86_64 libuuid-devel.x86_64
# yum -y install uuid.x86_64 uuid-devel.x86_64
# yum -y install uuid-c++.x86_64 uuid-c++-devel.x86_64
 
https://github.com/jedisct1/libsodium/archive/1.0.1.tar.gz
# tar xvzf libsodium-1.0.1.tar.gz
# cd libsodium-1.0.1
# ./autogen.sh
# ./configure --prefix=/usr/local 
# make --jobs=`grep processor /proc/cpuinfo | wc -l`
# make install
 
http://download.zeromq.org/zeromq-4.0.5.tar.gz
https://pypi.python.org/packages/source/p/pyzmq/pyzmq-14.4.1.tar.gz
# tar xvzf zeromq-4.0.5.tar.gz
# cd zeromq-4.0.5
# ./autogen.sh
# ./configure --prefix=/usr/local
# make --jobs=`grep processor /proc/cpuinfo | wc -l`
# make install
 
# tar xvzf pyzmq-14.4.1.tar.gz
# cd pyzmq-14.4.1
# python setup.py configure --zmq=/usr/local
# python setup.py install

(7)、M2Crypto模块安装
# yum -y install swig.x86_64
 
http://www.openssl.org/source/openssl-1.0.1g.tar.gz
# tar xvzf openssl-1.0.1g.tar.gz
# cd openssl-1.0.1g
# ./config shared --prefix=/usr/local
# make && make install
 
https://pypi.python.org/packages/source/M/M2Crypto/M2Crypto-0.22.3.tar.gz
# tar xvzf M2Crypto-0.22.3.tar.gz
# cd M2Crypto-0.22.3
# python setup.py install
 
注意：
如果出现以上报错，执行以下命令：
# cp -a /usr/local/include/openssl /usr/include/
 
(8)、msgpack模块安装
https://pypi.python.org/packages/source/m/msgpack-python/msgpack-python-0.4.2.tar.gz
# tar xvzf msgpack-python-0.4.2.tar.gz
# cd msgpack-python-0.4.2
# python setup.py install
 
(9)、msgpack-pure模块安装
https://pypi.python.org/packages/source/m/msgpack-pure/msgpack-pure-0.1.3.tar.gz
# tar xvzf msgpack-pure-0.1.3.tar.gz
# cd msgpack-pure-0.1.3
# python setup.py install
 
(10)、pycrypto模块安装
https://pypi.python.org/packages/source/p/pycrypto/pycrypto-2.6.1.tar.gz
# tar xvzf pycrypto-2.6.1.tar.gz
# cd pycrypto-2.6.1
# python setup.py install
 
(11)、requests模块安装
https://pypi.python.org/packages/source/r/requests/requests-2.5.0.tar.gz
# tar xvzf requests-2.5.0.tar.gz
# cd requests-2.5.0
# python setup.py install

# vim Python-2.7.8/Modules/Setup

然后再重新对python-2.7.8进行编译安装即可解决以上问题。
 
# vim/etc/ld.so.conf
/usr/local/lib
/usr/local/lib64
 
# /sbin/ldconfig
# cd Python-2.7.8
# make && make install
 
注意：
如果openssl库在python之前已经安装，就不会出现这种情况，也无需经历此步骤，此处更多的是想说明一下组件之间的依赖关系，作为提醒。
 
(12)、其他模块安装
https://pypi.python.org/packages/source/l/libnacl/libnacl-1.3.5.tar.gz
https://pypi.python.org/packages/source/i/ioflo/ioflo-1.0.2.tar.gz
https://pypi.python.org/packages/source/s/six/six-1.8.0.tar.gz
https://pypi.python.org/packages/source/r/raet/raet-0.4.2.tar.gz
https://pypi.python.org/packages/source/M/Mako/Mako-1.0.0.tar.gz
 
注意：
以上模块为REAT通信模式所依赖的模块，作为可选项，非必要。
 
(13)、saltstack安装
https://github.com/saltstack/salt/releases/download/v2014.7.0/salt-2014.7.0.tar.gz
# tar xvzf salt-2014.7.0.tar.gz
# cd salt-2014.7.0
# python setup.py install
# salt --versions-report

3、SaltStack配置
(1)、master端
# mkdir /etc/salt
# cp -a conf/master /etc/salt/
# cp -a pkg/suse/salt-master /etc/init.d/
# chmod +x /etc/init.d/salt-master
# chkconfig --level 235 salt-master on
 
# mkdir -p /var/log/salt /srv/salt
 
# vim /etc/salt/master
interface: 10.133.33.85
auto_accept: True
 
# ln -s /usr/local/bin/salt-master /usr/bin/
# service salt-master start
 
# netstat -ntlp

# ps aux | grep python

(2)、minion端
# mkdir /etc/salt
# cp -a conf/minion /etc/salt/
# cp -a pkg/suse/salt-minion /etc/init.d/
# chmod +x /etc/init.d/salt-minion
# chkconfig --level 235 salt-minion on
 
# mkdir -p /var/log/salt
 
# vim /etc/salt/minion
master: 10.133.33.85
id: minion-10-130-87-151
 
# ln -s /usr/local/bin/salt-minion /usr/bin/
# service salt-minion start
 
# ps aux | grep python

4、SaltStack简单使用
## 查看当前的salt key信息
# salt-key -L
## 测试被控主机的连通性
# salt ‘*‘ test.ping

## 远程命令执行测试
# salt ‘*‘ cmd.run ‘uptime‘

## 根据被控主机的grains信息进行匹配过滤
# salt -G ‘os:Centos‘ test.ping
 
## 显示被控主机的操作系统类型
# salt ‘*‘ grains.item os
 
## 远程代码执行测试
# salt ‘*‘ cmd.exec_code python ‘import sys; print sys.version‘

5、常用模块介绍
(1)、cp模块（实现远程文件、目录的复制，以及下载URL文件等操作）
## 将主服务器file_roots指定位置下的目录复制到被控主机
# salt ‘*‘ cp.get_dir salt://hellotest /data
 
##将主服务器file_roots指定位置下的文件复制到被控主机
# salt ‘*‘ cp.get_file salt://hellotest/rocketzhang /root/rocketzhang
 
## 下载指定URL内容到被控主机指定位置
# salt ‘*‘ cp.get_url http://xxx.xyz.com/download/0/files.tgz /root/files.tgz
 
(2)、cmd模块（实现远程的命令行调用执行）
# salt ‘*‘ cmd.run ‘netstat -ntlp‘
 
(3)、cron模块（实现被控主机的crontab操作）
## 为指定的被控主机、root用户添加crontab信息
# salt ‘*‘ cron.set_job root ‘*/5‘ ‘*‘ ‘*‘ ‘*‘ ‘*‘ ‘date >/dev/null 2>&1‘
# salt ‘*‘ cron.raw_cron root
 
## 删除指定的被控主机、root用户的crontab信息
# salt ‘*‘ cron.rm_job root ‘date >/dev/null 2>&1‘
# salt ‘*‘ cron.raw_cron root
 
(4)、dnsutil模块（实现被控主机通用DNS操作）
## 为被控主机添加指定的hosts主机配置项
# salt ‘*‘ dnsutil.hosts_append /etc/hosts 127.0.0.1 rocketzhang.qq.com
 
(5)、file模块（被控主机文件常见操作，包括文件读写、权限、查找、校验等）
# salt ‘*‘ file.get_sum /etc/resolv.conf md5
# salt ‘*‘ file.stats /etc/resolv.conf
更多功能可以看文档哈 ^_^
 
(6)、network模块（返回被控主机网络信息）
# salt ‘*‘ network.ip_addrs
# salt ‘*‘ network.interfaces
更多功能可以看文档哈 ^_^
 
(7)、pkg包管理模块（被控主机程序包管理，如yum、apt-get等）
# salt ‘*‘ pkg.install nmap
# salt ‘*‘ pkg.file_list nmap
 
(8)、service 服务模块（被控主机程序包服务管理）
# salt ‘*‘ service.enable crond
# salt ‘*‘ service.disable crond
# salt ‘*‘ service.status crond
# salt ‘*‘ service.stop crond
# salt ‘*‘ service.start crond
# salt ‘*‘ service.restart crond
# salt ‘*‘ service.reload crond

(9)、更多功能
更多的功能，比如：grains、pillar、states、modules、returner、runners、reactor等，还有如下高级命令的使用，以及模板配置的渲染、扩展模块的二次开发等，可以自己去深入学习哈。
 
==========================================================================================
附录
==========================================================================================
一些学习资料：
http://docs.saltstack.com/en/latest/ref/modules/all/index.html
http://docs.saltstack.com/en/latest/ref/modules/index.html
http://www.saltstack.cn/projects/cssug-kb/wiki
http://salt-api.readthedocs.org/en/latest/
http://xiaorui.cc/category/saltstack/
http://www.shencan.net/index.php/category/%e8%87%aa%e5%8a%a8%e5%8c%96%e8%bf%90%e7%bb%b4/saltstack/
http://liuping0906.blog.51cto.com/2516248/d-13
http://lixcto.blog.51cto.com/4834175/d-1
http://blog.coocla.org/category/saltstack
http://pengyao.org/
 
资源站点：
https://github.com/saltstack/
https://github.com/saltstack-formulas
https://github.com/cssug

时间： 2024-08-29 03:16:24

saltstack学习篇的相关文章

SaltStack 学习笔记 - 第十二篇： SaltStack Web 界面

SaltStack 有自身的用python开发的web界面halite,好处是基于python,可以跟salt的api无缝配合,确定就比较明显,需要个性化对web界面进行定制的会比较麻烦,如果喜欢体验该界面的可以参考下面的文章  http://rfyiamcool.blog.51cto.com/1030776/1275443/ 我是运用另一个python+php来进行web开发,具体需要的工具有在我的另一篇文章里面介绍过,这里再重新进行整个开发介绍 首先介绍php 跟python通信的工具 pp

Saltstack 学习之target minions（二）

本文紧接上一篇,就target的各分类方式的详细用法予以讲解. > Grains 首先一点,需要注意的是,minion的grains信息在minion启动时便会生成和加载,之后便以静态数据的形式存在. Grains的匹配在前文已经有所提及,实现原理便是读取grains的dict数据,而后与tgt字串进行匹配,当然,它支持嵌套key-value形式,如: salt -G 'ec2_tags:environment:*production*' test.ping -v 上述命令即寻找grains的e

Linux新手入门书籍推荐 鸟哥的linux私房菜-基础学习篇

这本书写的不错.赞~\(≧▽≦)/~ 2017-02-24 下午,我开始在Linux下写第一个.c程序,在终端打印hello world.gcc 源代码文件之后,输出可执行文件,但是 当我输入文件名执行它的时候,却提示我 无法找到命令.于是我找百度,查资料,花了半个小时,终于找到解决方法了, 输入"./filename"即可.... 2017-02-25 我看<基础学习篇>这本书,在P158页下面的例题讲解中找到了昨天下午异常的解析.我就很是感慨,心想:要是早看这本书,半个

OC学习篇之---总结和学习目录

今天终于把OC的基础知识学习完了,但是这些知识只是最基础的,还有很多高级知识,这个可能需要后面慢慢的去学习才能体会到.下面就是这次学习OC的目录教程,如果大家发现有什么不正确的地方,请指正,小弟是新生,多请OC老鸟来喷~~ 1.OC学习篇之---概述 2.OC学习篇之---第一个程序HelloWorld 3.OC学习篇之---类的定义 4.OC学习篇之---类的初始化方法和点语法的使用 5.OC学习篇之---类的三大特性(封装,继承,多态) 6.OC学习篇之[email protected]关键

嵌入式学习_AD学习篇

AD基础使用: 1.建立一个工作区 (.DsnWrk) workspace 2.建立一个PCB工程(.PrjPCB)  project 3.建立一个PCB原理图文件(理论上告诉你两个点连接起来) 建立原理图后需要编译一下,没问题再倒入pcb文件.(.SchDoc)  schemmatic 4.建立一个PCB文件(物理上两个点怎么连)(.PcbDoc) 5.Layout(先布局再布线最后电器规格检查(DRC检查)) 6.生成Gerber文件(G1,G2,GBL,GBO,GBP,GBS,GKO,GP

saltstack学习记录

安装 pip 安装 注意  依赖到zeromq3 minion过一段时间去请求master salt-api  可以访问salt去远程执行 ruby puppet   DSL配置   erb文件  模块  加载  模板支持最差 chef     定义直接是ruby代码   erb模板系统   原生支持 python saltstack   yaml配置文件    python程序模板   模板支持很好 python写模块 ipc 进程间通信 都使用key认证    安全 salt-key  -L

JAVA学习篇--JSTL基础

JSTL是什么 JSTL(JSP Standard TagLibrary,JSP标准标签库)是一个不断完善的开放源代码的JSP标签库. 为什么要用JSTL 我们JSP用于开发信息展现页非常方便;也可以嵌入java代码(scriptlet.表达式和声明)代码用来实现相关逻辑控制.看下面程序.但这样做会带来如下问题: jsp维护难度增加;出错提示不明确,不容易调试; 分工不明确;(即jsp开发者是美工,也是程序员); 最终增加程序的开发成本; <% if (session.getAttribute(

saltstack学习

一.安装 1.master安装 yum install salt-master vi /etc/salt/master interface: 192.168.55.1 /etc/init.d/salt-master start 2.minion安装 yum install salt-minion vi /etc/salt/minion master: 192.168.55.1 id: 192.168.5.31 /etc/init.d/salt-minion start 配置文件interface

OC学习篇之---单例模式

在之前的一片文章中介绍了对象的拷贝相关知识:http://blog.csdn.net/jiangwei0910410003/article/details/41926531,今天我们来看一下OC中的单例模式,单例模式在设计模式中用的可能是最多的一种了,而且也是最简单的一种 实现单例模式有三个条件 1.类的构造方法是私有的 2.类提供一个类方法用于产生对象 3.类中有一个私有的自己对象 针对于这三个条件,OC中都是可以做到的 1.类的构造方法是私有的 我们只需要重写allocWithZone方法,