python之fabric(二):执行模式(转)

执行模式

  • 执行模式可以让你在多个主机上执行多个任务。

执行策略:

  • 默认fabric是单个有序地执行方法,其行为如下:

1. 创建一系列任务,通过fab任务执行要执行的任务;

2. 根据主机列表定义,去执行每一个任务;

3. 没有主机定义的任务,将在本地执行一次。

如:

from fabric.api import run, env

env.hosts = [‘host1‘, ‘host2‘]

def taskA():
    run(‘ls‘)

def taskB():
    run(‘whoami‘)

# 将在host1, host2都执行taskA, taskB
$ fab taskA taskB 

# 执行顺序如下
taskA executed on host1
taskA executed on host2
taskB executed on host1
taskB executed on host2

定义任务:

  • 如何定义任务,详情可见这里

定义主机列表:

  • 大多数时候你都需要根据目标,来定义多个远程主机,而不是仅在本地。

主机:

  • python定义的主机字符串为:
[email protected]:port #用户名和端口都可以省略
  • 主机定义也支持IPV6格式,如:
::1, [::1]:1222
[email protected]2001:db8::1
[email protected][2001:db8::1]:1222

角色:

  • 角色提供了可以定义一个字符串对应于一组主机列表,而不是每次都针对的是整个主机列表,如:
from fabric.api import env
#假如www1, www2, www3是你的web服务器, 你可以指定任务由特定的角色来执行
env.roledefs[‘webservers‘] = [‘www1‘, ‘www2‘, ‘www3‘]

# 定义多个角色
env.roledefs = {
    ‘web‘: [‘www1‘, ‘www2‘, ‘www3‘],
    ‘dns‘: [‘ns1‘, ‘ns2‘]
}

怎么构建hosts:

  • 通过全局的env:
from fabric.api import env, run

env.hosts = [‘host1‘, ‘host2‘]

def mytask():
    run(‘ls /var/www‘)
  • env配置会被每个任务检查,因此你完全可以在方法中设置env,如:
from fabric.api import env, run

def set_hosts():
    env.hosts = [‘host1‘, ‘host2‘]

def mytask():
    run(‘ls /var/www‘)

# 调用
fab set_hosts mytask, set_hosts
  • 通过命令行参数指定:
$ fab -H host1,host2 mytask #会被env.hosts所重写,类似角色也可以通过-R role1, role2, ...来定义
  • 你也可以扩展命令行定义的主机,如:
from fabric.api import env, run

env.hosts.extend([‘host3‘, ‘host4‘])

def mytask():
    run(‘ls /var/www‘)

# 那么执行主机将merge为host1,host2,host3,host4
fab -H host1, host2 mytask
NOTE: env.hosts是python的list对象,所以你可以用list.append()方法添加host,或者其他方法。
  • 针对每个任务的命令行参数:这是fabric提供一种更细粒度的定制:
from fabric.api import run

def mytask():
    run(‘ls /var/www‘)

# 该定义将重写其他任何hosts定义,mytask仅会在host1,host2上执行
fab mytask:hosts="host1;host2"
  • 针对每个任务进行修饰:
from fabric.api import hosts, run

@hosts(‘host1‘, ‘host2‘)
def mytask():
    run(‘ls /var/www‘)

# 或者
my_hosts = (‘host1‘, ‘host2‘)
@hosts(my_hosts)
def mytask():
    # ...

# 这种修饰将重写env.hosts设置, 但不会重写上面通过命令行定义的任务。
  • 总结下上面这些host与task绑定定义的优先级:
# 由高到低
1. 命令行 fab mytask:host=host1
2. fabfile中修饰任务@hosts(‘host1‘)
3. 在fabfile中设置env.hosts = [‘host1‘]
4. 在命令行中-H host1,host2,...
  • 主机列表组合
from fabric.api import env, hosts, roles, run

env.roledefs = {‘role1‘: [‘b‘, ‘c‘]}

@hosts(‘a‘, ‘b‘)
@roles(‘role1‘)
def mytask():
    run(‘ls /var/www‘)

# 若命令行不包含task定义,则上面的mytask家在a, b, c主机上执行
  • 排除特定的主机
# 若myrole被定义运行[host1, host2,...,host15], 则该命令将排除host2,host5
$ fab -R myrole -x host2,host5 mytask #该-x并不会修改env.hosts

用Execute智能地执行任务:

  • 看这么一个例子:
from fabric.api import run, roles

env.roledefs = {
    ‘db‘: [‘db1‘, ‘db2‘],
    ‘web‘: [‘web1‘, ‘web2‘, ‘web3‘],
}

@roles(‘db‘)
def migrate():
    # Database stuff here.
    pass

@roles(‘web‘)
def update():
    # Code updates here.
    pass

# 在fabric1.2之前,我们需要fab migrate update来执行这两个任务,
# 在fabric1.2之后,我们可以通过execute函数来执行这两个任务:

from fabric.api import run, roles, execute

def deploy():
    execute(migrate)
    execute(update)

通过Execute访问多主机的结果:

  • 一个范例
from fabric.api import env, roles, task, execute, run, runs_once

env.roledefs = {
    ‘zoo‘: [‘zooserver‘],
    ‘mysql‘: [‘mysqlmaster‘],
}

@task
def workhorse():
    return run("uname -a")

@roles(‘zoo‘)
@task
@runs_once
def go():
    results = execute(workhorse)
    print results

#执行
fab go

用Execute动态设置host列表:

  • 我们可以通过传递参数,动态设置hosts,如:
from fabric.api import run, execute, task

# For example, code talking to an HTTP API, or a database, or ...
from mylib import external_datastore

# This is the actual algorithm involved. It does not care about host
# lists at all.
def do_work():
    run("something interesting on a host")

# This is the user-facing task invoked on the command line.
@task
def deploy(lookup_param):
    # This is the magic you don‘t get with @hosts or @roles.
    # Even lazy-loading roles require you to declare available roles
    # beforehand. Here, the sky is the limit.
    host_list = external_datastore.query(lookup_param)
    # Put this dynamically generated host list together with the work to be
    # done.
    execute(do_work, hosts=host_list)

# 调用
fab deploy:app
fab deploy:other
  • 一个替代的方法:
from fabric.api import run, task

from mylib import external_datastore

# Marked as a publicly visible task, but otherwise unchanged: still just
# "do the work, let somebody else worry about what hosts to run on".
@task
def do_work():
    run("something interesting on a host")

@task
def set_hosts(lookup_param):
    # Update env.hosts instead of calling execute()
    env.hosts = external_datastore.query(lookup_param)

#调用
fab set_hosts:app do_work

#相比上一种方法,该方法可以轻易替换其他任务,如
fab set_hosts:db snapshot
fab set_hosts:cassandra,cluster2 repair_ring
fab set_hosts:redis,environ=prod status

故障处理:

  • 故障处理也是一个比较实用的东西,fabric默认是"快速失败"的,一旦出现错误,就立即停止。
  • 我们可以通过settings上下文中的env.warn_only=True来临时指定,失败也继续执行。

连接:

  • fab本身是不对任何主机做远程连接的,她只会设置env.host_string的值(即当前的host)。
  • NOTE: 连接对象Connection会保存在fabric.state.connections中,并做缓存,以减少创建新连接的消耗。

懒连接:

  • fab在执行远程操作前,并不会事先去连接远程主机,如:
from fabric.api import *

@hosts(‘host1‘)
def clean_and_upload():
    local(‘find assets/ -name "*.DS_Store" -exec rm ‘{}‘ \;‘)
    local(‘tar czf /tmp/assets.tgz assets/‘)
    put(‘/tmp/assets.tgz‘, ‘/tmp/assets.tgz‘) //这里才会开始进行远程连接相关的操作:cache.get() == null?new : cache.get()
    with cd(‘/var/www/myapp/‘):
        run(‘tar xzf /tmp/assets.tgz‘)

关闭连接:

  • 连接缓存并不会关闭连接。fab工具会帮你管理连接,它会遍历所有连接,并在其退出前关闭连接。你也可以调用fabric.network.disconnect_all()来确保关闭所有连接。

多次连接尝试和跳过错误的主机:

密码管理:

  • Fabric在内存中维护了两层的密码缓存管理,会记住你登录的密码和sudo时的密码,以免以后再次输入。
  • 第一层密码由 env.password保存,其值为ssh默认密码或sudo提示输入密码。第二层密码保存在env.passwords中,主要用于缓存user/host/port:password。
  • Fabric还是建议使用密钥进行ssh访问,如无密登录。

使用本地的SSH配置文件:

  • 你可以为Fabric指定特定的ssh配置文件(--ssh-config-path/env.ssh_config_path.),但默认Fabric并没有开启加载配置文件,需要设置env.use_ssh_config为True。
  • 若开启了Fabric加载配置文件的选项,则Fabric为使用以下一些配置项:

User/Port ,HostName, IdentityFile, ForwardAgent, ProxyCommand。

具体参考可见:

http://docs.fabfile.org/en/1.9/usage/execution.html

时间: 2024-10-12 07:16:58

python之fabric(二):执行模式(转)的相关文章

研磨设计模式解析及python代码实现——(二)外观模式(Facade)

一.外观模式定义 为子系统中的一组接口提供一个一致的界面,使得此子系统更加容易使用. 二.书中python代码实现 1 class AModuleApi: 2 def testA(self): 3 pass 4 class AModuleImpl(AModuleApi): 5 def testA(self): 6 print "Now Call testA in AModule!" 7 class BModuleApi: 8 def testB(self): 9 pass 10 cla

回溯法-01背包问题之二:顺序执行模式

上文已讲述了回溯法以及01背包问题的原理,本文讲述如何顺序执行解决01背包问题以及通过模板模式重构软件. 一.顺序执行流程图 图1无剪枝函数的01背包问题顺序执行算法流程图 图2 有剪枝函数的01背包问题顺序执行算法流程图 无剪枝函数是通用的深度遍历算法,为了减少搜索深度可通过剪枝函数处理完全不可能的分枝.与递归方案的区别主要表现在i>=n后需要"回溯",即用后进先出的方式将物品逐个拿出. 二.执行代码 递归与顺序执行方法仅仅是实现方法Backtracking(int i)不同,

Python之路【第三篇】:Python基础(二)

Python之路[第三篇]:Python基础(二) 内置函数 一 详细见python文档,猛击这里 文件操作 操作文件时,一般需要经历如下步骤: 打开文件 操作文件 一.打开文件 1 文件句柄 = file('文件路径', '模式') 注:python中打开文件有两种方式,即:open(...) 和  file(...) ,本质上前者在内部会调用后者来进行文件操作,推荐使用 open. 打开文件时,需要指定文件路径和以何等方式打开文件,打开后,即可获取该文件句柄,日后通过此文件句柄对该文件操作.

Python进阶(十二)----re模块

Python进阶(十二)----re模块 一丶re模块 ? re模块是python将正则表达式封装之后的一个模块.正则表达式模式被编译成一系列的字节码,然后由用C编写的匹配引擎执行. #正则表达式: 从一串字符中,找出你想要的字符串. import re ### 单个元字符的匹配 # \W 除了数字 ,字母,中文, 下划线 print(re.findall('\W','dsadas1231 +1-+2*/,.')) # \w 匹配中文,数字,字母,下划线 print(re.findall('\w

Python基础(二)

Python基础(二) Python 运算符(算术运算.比较运算.赋值运算.逻辑运算.成员运算) 基本数据类型(数字.布尔值.字符串.列表.元组.字典.set集合) for 循环 enumrate range和xrange 编码与进制转换 Python 运算符 1.算术运算: 2.比较运算: 3.赋值运算: 4.逻辑运算:  5.成员运算: 基本数据类型 1.数字 int(整型) 在32位机器上,整数的位数为32位,取值范围为-2**31-2**31-1,即-2147483648-2147483

学习编程之Python篇(二)

学习编程与学习踢球.学习演奏并无差别,最佳方式就是不断练习,所以我们鼓励你敲些代码,看看会发生什么,如果这些代码头一次不起作用,没关系,再来,看看你能否把它们纠正过来. 首先是一个简单的快速入门程序,让我们通过了解这个程序的细节,来熟悉Python. 第一项任务:给定半径,计算一个圆的周长和面积. 程序分解: 1.  提示用户输入半径: 2.  应用数学公式,根据获得的半径,得出周长和面积: 3.  输出结果. 代码1.1 运行程序的最简单方法是在IDLE编辑器里打开它,然后选择Run->Run

python学习(二)百度爬虫0.1

参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握. 我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警. 因此,基于需求,分如下步骤: 第一:基于Scrapy创建爬虫项目: 第二:新建TieBaSpider爬虫: 第三:新建外部关键字库dictionary.txt文件,贴吧地址配置url.txt文件: 第一步参考晚上案例. 从第二步开始,编写爬虫,同时创建实例对象以及创

Python文件遍历二种方法

分享下有关Python文件遍历的两种方法,使用的OS模块的os.walk和os.listdir实现. 关于Python的文件遍历,大概有两种方法,一种是较为便利的os.walk(),还有一种是利用os.listdir()递归遍历.方法一:利用os.walkos.walk可以自顶向下或者自底向上遍历整个文件树,然后返回一个含有3个元素的tuple,(dirpath, dirnames, filenames).注意,os.walk()会返回一个generater,所以调用的时候一定要放到for循环中

Python爬虫利器二之Beautiful Soup的用法

上一节我们介绍了正则表达式,它的内容其实还是蛮多的,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,而且有的小伙伴们也对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Beautiful Soup,有了它我们可以很方便地提取出HTML或XML标签中的内容,实在是方便,这一节就让我们一起来感受一下Beautiful Soup的强大吧. 1. Beautiful Soup的简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官