在运维中常见自动化操作
1、如何大规模安装操作系统:
在bare metal(裸机)上安装操作系统等,可以使用如下技术:pxe、cobbler
在虚拟机上安装操作系统等
2、自动化部署和配置:
puppet(基于ruby)
saltstack(基于Python)
ansible(基于Python,轻量级)
3、自动化完成管理和操作(需要批量执行某些命令)
fabric(基于Python)
func
ansible
4、自动化完成程序发布
ansible特性
模块化:使用ansible时,调用特定模块,完成特定任务
基于Python实现:主要调用 Paraniko、PyYAML和jinja2 这三个模块实现
由于是agentlsss,部署非常简单
支持自定义模块
支持playbook
ansible任务执行流程
ansible用三种颜色来表示命令的执行结果
如果返回 红色:表示执行结果异常,通常会终止剩余所有任务
如果返回 黄色:表示执行结果正常,且在命令执行结束后目标有状态上的变化
如果返回 绿色:表示执行结果正常,且在命令执行结束后目标没有状态上的变化
ansible在使用时,通常先将管理机的公钥发送到远程主机上去,如果远程主机数量过多,手动添加过去麻烦,推荐使用脚本完成
方法一:将所有IP地址写入一个文件中(比如这里的/etc/ansible/shell/ip.txt) #! /bin/bash read -p "请输入用户名: " user read -p "请输入密码: " password #产生密钥对 ssh-keygen -t rsa -P ‘‘ #检查sshpass是否按照 rpm -q sshpass &> /dev/null if [ $? -eq 0 ];then echo "command sshpass installed" else yum -y install sshpass &> /dev/null fi #开始批量向远程主机发送公钥 while read Line do sshpass -p $password ssh-copy-id [email protected]$Line done < /etc/ansible/shell/ip.txt
方法二:通过shell脚本和expect方式 先定义一个脚本 将所有IP地址写入一个文件中(比如这里的/etc/ansible/shell/ip.txt) # vim send_plubic_key2.sh #! /bin/bash while read Line do expect /etc/ansible/shell/send_plubic_key2.exp $Line done < /etc/ansible/shell/ip.txt 在定义expect脚本 # vim send_plubic_key2.exp #! /usr/bin/expect -f set ipaddr [lindex $argv 0] spawn ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]$ipaddr expect { "password:" { send "appmon\r" } } expect eof
ansible常用模块
1、copy模块 :复制文件到远程主机
copy模块参数如下: backup: #在覆盖之前,将源文件备份,备份文件包含时间信息。有两个选项:yes|no content: #用于替代“src”,可以直接设定指定文件的值 dest: #必选项。要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录 directory_mode: #递归设定目录的权限,默认为系统默认权限 force: #如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes others:#所有的file模块里的选项都可以在这里使用 group # 复制到远程主机后,指定文件或目录的属 mode # 复制到远程主机后,指定文件或目录权限,类似与 `chmod’指明如 0644 owner # 复制到远程主机后,指定文件或目录属主 src:#被复制到远程主机的本地文件,可以是绝对路径,也可以是相对路径。如果路径是一个目录,它将递归复制。在这 种情况下,如果路径使用“/”来结尾,则只复制目录里的内容,如果没有使用“/”来结尾,则包含目录在内的整个内容全部复制, 类似于rsync。
例子:将本地文件“/etc/ansible/ansible.cfg”复制到远程服务器,设置属主和属组及文件权限
# ansible storm_cluster -m copy -a “src=/etc/ansible/ansible.cfg dest=/tmp/ansible.cfg owner=root group=root mode=0644″
2、file模块: 设置文件属性
file模块参数如下: force:需要在两种情况下强制创建软链接,一种是源文件不存在,但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的 软链,有两个选项:yes|no group:定义文件/目录的属组 mode:定义文件/目录的权限 owner:定义文件/目录的属主 path:必选项,定义文件/目录的路径 recurse:递归设置文件的属性,只对目录有效 src:被链接的源文件路径,只应用于state=link的情况 dest:被链接到的路径,只应用于state=link的情况 state: directory:如果目录不存在,就创建目录 file:即使文件不存在,也不会被创建 link:创建软链接 hard:创建硬链接 touch:如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间 absent:删除目录、文件或者取消链接文件
例子:远程文件符号链接创建
# ansible storm_cluster -m file -a “src=/etc/resolv.conf dest=/tmp/resolv.conf state=link” src表示已经存在的文件,dest表示创建的软连接的文件名,最后的state状态为link
例子:远程文件符号链接删除
# ansible storm_cluster -m file -a “path=/tmp/resolv.conf state=absent”
3、fetch模块:文件拉取模块,主要是将远程主机中的文件拷贝到本机中
fetch模块参数如下: 和copy模块的作用刚刚相反,并且在保存的时候使用hostname来进行保存,当文件不存在的时候,会出现错误,除非设置了选项fail_on_missing为yes Dest:用来存放文件的目录,例如存放目录为backup,源文件名称为/etc/profile在主机pythonserver中,那么保存为/backup/pythonserver/etc/profile Fail_on_missing: Yes/no,当源文件不存在的时候,标识为失败 Flat: 允许覆盖默认行为从hostname/path到/file的,如果dest以/结尾,它将使用源文件的基础名称 Src=\‘#\‘" /no,当文件fetch之后进行md5检查
例子:从远程主机上拉取文件到本机
# ansible server -m fetch -a “src=/root/123 dest=/root src表示为远程主机上需要传送的文件的路径,dest表示为本机上的路径,在传送过来的文件,是按照IP地址或hostname进行分类,然后路径是源文件的路径,例如上面的最终路径为/root/192.168.1.60/root/123在拉取文件的时候,必须拉取的是文件,不能拉取文件夹
例子:指定路径目录进行保存
# ansible pythonserver -m fetch -a “src=/root/Ssh.py dest=/root/kel/ flat=yes” 在使用参数为flat的时候,如果dest的后缀名为/,那么就会保存在目录中,然后直接保存为文件名,如上例的结果为 dest”: “/root/kel/Ssh.py; 当dest后缀不为/的时候,那么就会直接保存为kel的文件,如上例1所示。主要是在于dest是否已/结尾,从而来区分这是个目录还是路径。
4、assemble模块:文件组装模块,主要是将多份配置文件组装为一份配置文件。
assemble模块参数如下: Backup:Yes/no 是否创建备份文件,使用时间戳 Delimiter:配置文件内容之间的分隔符 Dest:目的文件用来连接所有的源文件 Follow:Yes/no 表示文件系统的链接,如果存在,应该follow Group:文件所属组,相当于chown Mode:文件属性,0644,记住保留前面的0 Owner:文件所属用户 Regexp:组装的时候是否匹配相关的文件进行组合 Remote_src:True/False,False表示src文件在本机上,True表示src在远程主机上 Src:已经存在的目录文件
例子:将本机上的配置文件组装发送到远程主机
# ansible pythonserver -m assemble -a “src=/root/kel/ dest=/tmp/kel.conf remote_src=False” 在本机目录/root/kel的文件进行组装,发送到远程配置文件/tmp/kel.conf中,在此注意参数remote_src为False表示组装本机的配置文件,如果在本机目录中不存在文件,那么将会显示Python代码和乱码
5、command模块:在远程主机上执行命令
Command不适用于有shell变量的情况,也不适用于有管道符或者&&的情况,如果要使用此种情况,那么可以使用shell模块
参数如下: creates:一个文件名,当该文件存在,则该命令不执行 free_form:要执行的linux指令 chdir:在执行指令之前,先切换到该目录 removes:一个文件名,当该文件不存在,则该选项不执行 executable:切换shell来执行指令,该执行路径必须是一个绝对路径
例子:查看远程服务器的负载信息
# ansible storm_cluster -m command -a “uptime”
6、shell模块:切换到某个shell执行指定的指令,与command不同的是,此模块可以支持命令管道,同时还有另一个模块也具备此功能:raw
参数如下: chdir # 执行之前,先cd到指定目录在执行命令 creates # 一个文件名,当这个文件存在,则该命令不执行 executable # 切换shell来执行命令,需要使用命令的绝对路径 free_form= # 执行的命令 removes # 一个文件名,这个文件不存在,则该命令不执行
例子:远程执行shell脚本
# ansible storm_cluster -m shell -a “/tmp/rocketzhang_test.sh”
7、service模块:系统服务管理
参数如下: arguments # 向服务传递的命令行参数 enabled # 设置服务开机自动启动,参数为yes|no name= # 控制服务的名称 pattern # 如果通过status指令来查看服务的状态时,没有响应,就会通过ps指令在进程中根据该模式进行查找,如果匹配到,则认为该服务依然在运行 runlevel # 设置服务自启动级别 sleep # 如果执行了restarted,则在stop和start之间沉睡几秒钟 state # 启动`started’ 关闭`stopped’ 重新启动 `restarted’ 重载 `reloaded’
例子:启动http服务,并添加到启动服务项中,设置开机启动
# ansible web -m service -a “name=httpd state=started enabled=yes ”
8、cron模块:管理计划任务
参数如下: backup # 如果设置,创建一个crontab备份 cron_file # 如果指定, 使用这个文件cron.d,而不是单个用户crontab day # 日应该运行的工作( 1-31, *, */2, etc ) hour # 小时 ( 0-23, *, */2, etc ) job # 指明运行的命令是什么 minute # 分钟( 0-59, *, */2, etc ) month # 月( 1-12, *, */2, etc ) name # 定时任务描述 reboot # 任务在重启时运行,不建议使用,建议使用special_time special_time # 特殊的时间范围,参数:reboot(重启时),annually(每年),monthly(每月),weekly(每周),daily(每天),hourly(每小时) state # 指定状态,prsent表示添加定时任务,也是默认设置,absent表示删除定时任务 user # 以哪个用户的身份执行 weekday # 周 ( 0-6 for Sunday-Saturday, *, etc )
例子:在指定节点上定义一个计划任务,每隔3分钟到主控端更新一次时间
# ansible all -m cron -a ‘name=”custom job” minute=*/3 hour=* day=* month=* weekday=* job=”/usr/sbin/ntpdate 172.16.254.139″‘
例子:新建一个cron文件
# ansible pythonserver -m cron -a “name=’for test’ weekday=’2′ minute=’0′ hour=12 user=’root’ job=’cat /etc/passwd >/root/111′ cron_file=’test ansible‘” 新增一个任务,在目录/etc/cron.d/目录中,文件名称为test ansible,用户为root
9、yum模块:软件包安装管理
参数如下: conf_file # yum的配置文件 disable_gpg_check # 关闭gpg_check disablerepo # 不启用某个源 enablerepo # 启用某个源 List # 非幂等性命令 name= # 指定要安装的包,如果有多个版本需要指定版本,否则安装最新的包 state # 安装(`present’),安装最新版(`latest’),卸载程序包(`absent’)
例子:确定一个包安装的是指定版本,如下:
# ansible server -m yum -a “name=acme-1.5 state=present”
例子:安装一个最新版包:
# ansible server -m yum -a “name=acme state=latest”
例子:指定repo来进行安装包
# ansible server -m yum -a “name=httpd enablerepo=kel state=present” 在指定源的时候,使用enablerepo,注意这个名字是配置文件/etc/yum.repo.d/目录中文件的section的名称,如下所示: # cat rhel-source.repo |grep kel [kel] name=kel baseurl=file:///tmp/kel
例子:更新所有安装包
# ansible server -m yum -a “name=* state=latest
例子:指定rpm进行安装
# ansible server -m yum -a “name=/usr/local/src/kel.noarch.rpm state=present”
例子:指定远程网址rpm进行安装
# ansible server -m yum -a “name=http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6.0.el6.ngx.noarch.rpm state=present”
10、synchronize模块:使用rsync同步文件
使用rsync 模块,ansible主机以及远程主机必须安装rsync 包,否则无法使用这个模块
参数如下: archive # 是否采用归档模式同步,即以源文件相同属性同步到目标地址 checksum # 是否效验 compress # 开启压缩,默认为开启 copy_links # 同步的时候是否复制连接 delete # 删除源中没有而目标存在的文件(即以推送方为主) dest= # 目标地址 dest_port # 目标接受的端口,ansible配置文件中的 ansible_ssh_port 变量优先级高于该 dest_port 变量 dirs # 以非递归的方式传输目录 existing_only # Skip creating new files on receiver. group # Preserve group links # Copy symlinks as symlinks. mode # rsync同步的方式,默认都是推送push。如果你在使用拉取pull功能,可以通过mode=pull更改推送模式为拉取模式 recursive # 是否递归 yes/no rsync_opts # 使用rsync 的参数 rsync_path # 指定远程服务器上的rsync命令所在路径信息。这个参考rsync命令的–rsync-path参数,–rsync-path=PATH rsync_timeout # 指定 rsync 操作的 IP 超时时间,和rsync命令的 –timeout 参数效果一样. set_remote_user # put [email protected] for the remote paths. If you have a custom ssh config to define the remote user for src=\‘#\‘” # 同步的数据源目录或文件 –exclude=.Git #忽略同步.git结尾的文件 由于模块默认启用了archive参数,该参数默认开启了recursive,links,perms,times,owner,group和-D参数。如果你将该参数设置为no,那么你将停止很多参数,比如会导致如下目的递归失败,导致无法拉取
例子:把本机根目录下的time.sh文件同步到目标主机上。目标机器需要安装rsync软件
# ansible web -a ‘yum install rsync -y’ # ansible web -m synchronize -a ‘src=/time.sh dest=/tmp/’
11、user模块:系统用户账号管理
参数如下: comment # 用户的描述信息 createhome # 是否创建家目录 force # 在使用`state=absent’是, 行为与`userdel –force’一致. group # 指定基本组 groups # 指定附加组,如果指定为(‘groups=’)表示删除所有组 home # 指定用户家目录 login_class # 可以设置用户的登录类 FreeBSD, OpenBSD and NetBSD系统. move_home # 如果设置为`home=’时, 试图将用户主目录移动到指定的目录 name= # 指定用户名 non_unique # 该选项允许改变非唯一的用户ID值 password # 指定用户密码 remove # 在使用 `state=absent’时, 行为是与 `userdel –remove’一致. shell # 指定默认shell state #设置帐号状态,不指定为创建,指定值为absent表示删除 system # 当创建一个用户,设置这个用户是系统用户。这个设置不能更改现有用户。 uid #指定用户的uid update_password # 更新用户密码
例子:添加用户foo,指定密码,设置家目录,不允许远程登录
# ansible webserves -m user -a “name=foo password=<crypted passwordhere> home=/home/foo shell=/sbin/nologin”
12、group模块:系统用户组管理
参数如下: gid # 设置组的GID号 name= # 管理组的名称 state # 指定组状态,默认为创建,设置值为absent为删除 system # 设置值为yes,表示为创建系统组
例子:创建一个foo组,指定gid号
# ansible webserves -m group -a “name=foo gid=360 system=yes”
13、script模块:将本地脚本复制到远程主机并运行
参数如下: creates # 一个文件名,当这个文件存在,则该命令不执行 free_form= # 本地脚本路径 removes # 一个文件名,这个文件不存在,则该命令不执行
例子:将ansible主机上/root/local.sh复制到远程主机并执行
#ansible test -m script -a ‘/root/local.sh’
14、setup模块:收集远程主机的facts
每个被管理节点在接收并运行管理命令之前,会将自己主机相关信息,如操作系统版本、IP地址等报告给远程的ansbile主机
参数如下: Fact_path:/etc/ansible/facts.d,Fact的路径 Filter:过滤串
例子:收集fact并且进行保存
# ansible server -m setup –tree /tmp/facts 执行之后,会显示相关的fact,并且在/tmp/facts中会保存fact信息
例子:收集内存信息并输出
# ansible pythonserver -m setup -a “filter=ansible_*_mb” 使用过滤字符串,从而进行了相关的匹配,得到相关的内存信息如下: “ansible_facts”: { “ansible_memfree_mb”: 746, “ansible_memtotal_mb”: 996, “ansible_swapfree_mb”: 2015, “ansible_swaptotal_mb”: 2015 }
ansible playbook