第七部分:小插曲,Deferred

作者:[email protected]http://krondo.com/?p=1682  译者:杨晓伟(采用意译)

你可以从这里从头开始阅读这个系列

回调函数的后序发展

在第六部分我们认识这样一个情况:回调是Twisted异步编程中的基础。除了与reactor交互外,回调可以安插在任何我们写的Twisted结构内。因此在使用Twisted或其它基于reactor的异步编程体系时,都意味需要将我们的代码组织成一系列由reactor循环可以激活的回调函数链。

即使一个简单的get_poetry函数都需要回调,两个回调函数中一个用于处理正常结果而另一个用于处理错误。作为一个Twisted程序员,我们必须充分利用这一点。应该花点时间思考一下如何更好地使用回调及使用过程中会遇到什么困难。

分析下3.1版本中的get_poetry函数:

...
def got_poem(poem):
    print poem
    reactor.stop()
def poem_failed(err):
    print >>sys.stderr, ‘poem download failed‘
    print >>sys.stderr, ‘I am terribly sorry‘
    print >>sys.stderr, ‘try again later?‘
    reactor.stop()
get_poetry(host, port, got_poem, poem_failed)
reactor.run()

我们想法很简单:

1.如果完成诗歌下载,那么就打印它

2.如果没有下载到诗歌,那就打印出错误信息

3.上面任何一种情况出现,都要停止程序继续运行

同步程序中处理上面的情况会采用如下方式:

...
try:
    poem = get_poetry(host, port) # the synchronous version of get_poetry
except Exception, err:
    print >>sys.stderr, ‘poem download failed‘
    print >>sys.stderr, ‘I am terribly sorry‘
    print >>sys.stderr, ‘try again later?‘
    sys.exit()
else:
    print poem
    sys.exit()

即callback类似else处理路径,而errback类似except处理路径。这意味着激活errback回调函数类似于同步程序中抛出一个异常,而激活一个callback意味着同步程序中的正常执行路径。

两个版本有什么不同之外吗?可以明确的是,在同步版本中,Python解释器可以确保只要get_poetry抛出何种类型的异步都会执行except块。即只要我们相信Python解释器能够正确的解释执行Python程序,那么就可以相信异常处理块会在恰当的时间点被执行。

不异步版本相反的是:poem_failed错误回调是由我们自己的代码激活并调用的,即PeotryClientFactory的clientConnectFailed函数。是我们自己而不是Python来确保当出错时错误处理代码能够执行。因此我们必须保证通过调用携带Failure对象的errback来处理任何可能的错误。

否则,我们的程序就会因为等待一个永远不会出现的回调而止步不前。

这里显示出了同步与异步版本的又一个不同之处。如果我们在同步版本中没有使用try/except捕获异步,那么Python解释器会为我们捕获然后关掉我们的程序并打印出错误信息。但是如果我们忘记抛出我们的异步异常(在本程序中是在PoetryClientFactory调用errback),我们的程序会一直运行下去,还开心地以为什么事都没有呢。

显而易见,在异步程序中处理错误是相当重要的,甚至有些严峻。也可以说在异步程序中处理错误信息比处理正常的信息要重要的多,这是因为错误会以多种方式出现,而正确的结果出现的方式是唯一的。当使用Twisted编程时忘记处理异常是一个常犯的错误。

关于上面同步程序代码的另一个默认实事是:else与except块两者只能是运行其中一个(假设我们的get_poetry没有在一个无限循环中运行)。Python解释器不会突然决定两者都运行或突发奇想来运行else块27次。对于通过Python来实现那样的动作是不可能的。

但在异步程序中,我们要负责callback和errback的运行。因此,我们可能就会犯这样的错误:同时调用了callback与errback或激活callback27次。这对于使用get_poetry的用户来说是不幸的。虽然在描述文档中没有明确地说明,像try/except块中的else与except一样,对于每次调用get_poetry时callback与errback只能运行其中一个,不管是我们是否成功得下载完诗歌。

设想一下,我们在调试某个程序时,我们提出了三次诗歌下载请求,但是得到有7次callback被激活和2次errback被激活。可能这时,你会下来检查一下,什么时候get_poetry激活了两次callback并且还抛出一个错误出来。

从另一个视角来看,两个版本都有代码重复。异步的版本中含有两次reactor.stop,同步版本中含有两次sys.exit调用。我们可以重构同步版本如下:

...
try:
    poem = get_poetry(host, port) # the synchronous version of get_poetry
except Exception, err:
    print >>sys.stderr, ‘poem download failed‘
    print >>sys.stderr, ‘I am terribly sorry‘
    print >>sys.stderr, ‘try again later?‘
else:
    print poem
sys.exit()

我们可以以同样的方式来重构异步版本吗?说实话,确实不太可能,因为callback与errback是两个不同的函数。难道要我们回到使用单一回调来实现重构吗?

好下面是我们在讨论使用回调编程时的一些观点:

1.激活errback是非常重要的。由于errback的功能与except块相同,因此用户需要确保它们的存在。他们并不可选项,而是必选项。

2.不在错误的时间点激活回调与在正确的时间点激活回调同等重要。典型的用法是,callback与errback是互斥的即只能运行其中一个。

3.使用回调函数的代码重构起来有些困难。

来下面的部分,我们还会讨论回调,但是已经可以明白为什么Twisted引入了deferred抽象机制来管理回调了。

Deferred

由于架设在异步程序中大量被使用,并且我们也看到了,正确的使用这一机制需要一些技巧。因此,Twisted开发者设计了一种抽象机制-Deferred-以让程序员在使用回调时更简便。

一个Deferred有一对回调链,一个是为针对正确结果,另一个针对错误结果。新创建的Deferred的这两条链是空的。我们可以向两条链里分别添加callback与errback。其后,就可以用正确的结果或异常来激活Deferred。激活Deferred意味着以我们添加的顺序激活callback或errback。图12展示了一个拥有callback/errback链的Deferred对象:

图12: Deferred

由于defered中不使用reactor,所以我们可以不用在事件循环中使用它。也许你在Deferred中发现一个seTimeout的函数中使用了reactor。放心,它将来将来的版本中删掉。

下面是我们第一人使用deferred的例子twisted-deferred/defer-1.py:

from twisted.internet.defer import Deferred
def got_poem(res):
    print ‘Your poem is served:‘
    print res
def poem_failed(err):
    print ‘No poetry for you.‘
d = Deferred()
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
# fire the chain with a normal result
d.callback(‘This poem is short.‘)
print "Finished"

代码开始创建了一个新deferred,然后使用addCallbacks添加了callback/errback对,然后使用callback函数激活了其正常结果处理回调链。当然了,由于只含有一个回调函数还算不上链,但不要紧,运行它:

Your poem is served:
This poem is short.
Finished

有几个问题需要注意:

1.正如3.1版本中我们使用的callback/errback对,添加到deferred中的回调函数只携带一个参数,正确的结果或出错信息。其实,deferred支持回调函数可以有多个参数,但至少得有一个参数并且第一个只能是正确的结果或错误信息。

2.我们向deferred添加的是回调函数对

3.callbac函数携带仅有的一个参数即正确的结果来激活deferred

4.从打印结果顺序可以看出,激活的deferred立即调用了回调。没有任何异步的痕迹。这是因为没有reactor参与导致的。

好了,让我们来试试另外一种情况,twisted-deferred/defer-2.py激活了错误处理回调:

from twisted.internet.defer import Deferred
from twisted.python.failure import Failure

def got_poem(res):
    print ‘Your poem is served:‘
    print res
def poem_failed(err):
    print ‘No poetry for you.‘
d = Deferred()
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
# fire the chain with an error result
d.errback(Failure(Exception(‘I have failed.‘)))
print "Finished"

运行它打印出的结果为:

No poetry for you.
Finished

激活errback链就调用errback函数而不是callback,并且传进的参数也是错误信息。正如上面那样,errback在deferred激活就被调用。

在前面的例子中,我们将一个Failure对象传给了errback。deferred会将一个Exception对象转换成Failure,因此我们可以这样写:

from twisted.internet.defer import Deferred

def got_poem(res):
    print ‘Your poem is served:‘
    print res

def poem_failed(err):
    print err.__class__
    print err
    print ‘No poetry for you.‘

d = Deferred()
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
# fire the chain with an error result
d.errback(Exception(‘I have failed.‘))

运行结果如下:

twisted.python.failure.Failure [Failure instance: Traceback (failure with no frames): : I have failed. ]
No poetry for you.

这意味着在使用deferred时,我们可以正常地使用Exception。其中deferred会为我们完成向Failure的转换。

下面我们来运行下面的代码看看会出现什么结果:

from twisted.internet.defer import Deferred

def out(s): print s

d = Deferred()
d.addCallbacks(out, out)
d.callback(‘First result‘)
d.callback(‘Second result‘)
print ‘Finished‘

输出结果:

First result Traceback (most recent call last): ... twisted.internet.defer.AlreadyCalledError

很意外吧,也就是说deferred不允许别人激活它两次。这也就解决了上面出现的那个问题:一个激活会导致多个回调同时出现。而deferred设计机制控制住了这种可能,如果你非要在一个deferred上要激活多个回调,那么正如上面那样,会报异常错。

那deferred能帮助我们重构异步代码吗?考虑下面这个例子:

import sys
from twisted.internet.defer import Deferred

def got_poem(poem):
    print poem
    from twisted.internet import reactor
    reactor.stop()

def poem_failed(err):
    print >>sys.stderr, ‘poem download failed‘
    print >>sys.stderr, ‘I am terribly sorry‘
    print >>sys.stderr, ‘try again later?‘
    from twisted.internet import reactor
    reactor.stop()

d = Deferred()
d.addCallbacks(got_poem, poem_failed)

from twisted.internet import reactor
reactor.callWhenRunning(d.callback, ‘Another short poem.‘)
reactor.run()

这基本上与我们上面的代码相同,唯一不同的是加进了reactor。我们在启动reactor后调用了callWhenRunning函数来激活deferred。我们利用了callWhenRunning函数可以接收一个额外的参数给回调函数。多数Twisted的API都以这样的方式注册回调函数,包括向deferred添加callback的API。下面我们给deferred回调链添加第二个回调:

import sys
from twisted.internet.defer import Deferred

def got_poem(poem):
    print poem

def poem_failed(err):
    print >>sys.stderr, ‘poem download failed‘
    print >>sys.stderr, ‘I am terribly sorry‘
    print >>sys.stderr, ‘try again later?‘

def poem_done(_):
    from twisted.internet import reactor
    reactor.stop()

d = Deferred()
d.addCallbacks(got_poem, poem_failed)
d.addBoth(poem_done)

from twisted.internet import reactor
reactor.callWhenRunning(d.callback, ‘Another short poem.‘)
reactor.run()

addBoth函数向callback与errback链中添加了相同的回调函数。在这种方式下,deferred有可能也会执行errback链中的回调。这将在下面的部分讨论,只要记住后面我们还会深入讨论deferred。

总结:

在这部分我们分析了回调编程与其中潜藏的问题。我们也认识到了deferred是如何帮我们解决这些问题的:

1.我们不能忽视errback,在任何异步编程的API中都需要它。Deferred支持errbacks。

2.激活回调多次可能会导致很严重的问题。Deferred只能被激活一次,这就类似于同步编程中的try/except的处理方法。

3.含有回调的程序在重构时相当困难。有了deferred,我们就通过修改回调链来重构程序。

关于deferred的故事还没有结束,后面还有大量的细节来讲。但对于使用它来重构我们的客户端已经够用的了,在第八部分将讲述这部分内容。

时间: 2024-10-09 11:48:06

第七部分:小插曲,Deferred的相关文章

做优秀产品经理的七个小窍门

产品经理是IT和互联网行业的热门职位,因为带着个经理的后缀,让人觉得比其他程序员.测试工程师什么的天生就高了一头.再加上各种媒体.大佬或成功人士把产品经理称为小“CEO”的说法,赋予这个职位各种光环,让不少新老同学决心投身这个潜力巨大的职业.另一方面,产品经理的确可以说是互联网团队的骨干,一边对接用户.市场.客户和各种外部伙伴,另一边连着开发.测试.运营等内部资源,经常直接影响或决定着一个功能.产品.业务甚至公司的成败.好的产品经理需要有感觉.有想法.能沟通.能设计,绝不是一天练成的.关于如何成

【乱写代码坑人系列】小插曲(一)将类的所有属性添加为SqlCommand的参数

小插曲(一)将类的所有属性添加为SqlCommand的参数 在使用SqlCommand 执行存储过程时,如果存储过程需要参数,就必须将每个参数都输进去,虽然说可以使用AddWithValue 方法,但参数多时仍旧有些麻烦. 在需要将类的所有属性作为参数时,可以通过反射获取这个类所有的属性和值,并直接添加到参数中. 不过需要注意的是,必须保证类的属性名和参数名相同(不区分大小写),顺序无所谓. 1 private void SetSqlParameters<T>(SqlCommand cmd,

毕业论文前的小插曲

早上起的不早,因为睡前和琼琼吵了架,就这样睡着了,以为早上醒来后,又睡了一觉,潜意识里,这种情况下我第二次醒来都会是十点左右,今天还好.因为今天还有紧急的任务要完成,做视频.昨天晚上就已经收到了关于视频修改的六点意见.今天就按照这六点来改,但是,改到下午,才算是初步完成, 不出意料,这一版还是有问题,说实话,我听到的时候,内心还是非常的不情愿,事实上,很多事情都是这样,在最终的due之前,永远都不算好.不论是做产品,还是写文章,即将到来的毕业论文,这个周期,将比这个小插曲还要痛苦,这个小插曲也算

欧洲出差的一点小插曲

这次项目一个"小小的"设备的开发,就涉及到了和美国.中国.日本.意大利.德国.印度.韩国.台湾八个国家和地区和工程师进行沟通.这充分地体现了现代社会生产中,各国发挥自己的特长,参与全球分工和合作,以获得双赢的特征.(也相当体现了英语作为一门"世界语",掌握良好英语沟通能力非常重要). 这不,这了推进项目的进度,解决与BSP交互中发生的各种问题,2014年7月,受客户委托,再次前往意大利硬件供应商进行了一段时间的现场工作.当然,本文的重点不是现场工作的内容,而是分享这

Hook的两个小插曲

看完了前面三篇文章后,这里我们来一个小插曲~~~~ 第一个小插曲,是前面文章一个CM精灵的分析,我们这里使用hook代码来搞定: 第二个小插曲,是现在一些游戏,都有了支付上限,例如每天只能花20块钱来购买. 好了,下面我们分开叙述~~~~ 0x1:第一个小插曲 CM精灵分析的时候,打开软件能得到的最初始的信息,是软件的使用时间有限制,为30分钟,我们可以找到其上下文来继续查看一下. 软件分析方面,懒得再次打字叙述了,看下面的连接即可: http://www.52pojie.cn/thread-2

ROS与Arduino学习(七)小案例节点通信

ROS与Arduino学习(七)小案例节点通信 Tutorial Level:Logging日志 Next Tutorial: 原文地址:https://www.cnblogs.com/flyingjun/p/8952857.html

CentOS6.10安装redis-dump小插曲

前段时间发布过一篇关于redis-dump的安装和简单实用文章博文地址:http://blog.51cto.com/wujianwei/2105124昨天因开发同事要求要给另外的一个项目的redis的数据做定时备份,原本想的直接照着之前发布的文档直接部署,但是尝试了几次,总是不成功.于是才有了今天的博文的小插曲,希望能够帮助到遇到同样问题的网友们.接下来让我们一起回顾具体的部署过程: 一.服务器的环境: [[email protected] ~]# cat /etc/redhat-release

第九部分:第二个小插曲,Deferred

作者:[email protected]http://krondo.com/?p=1825  译者:杨晓伟(采用意译) 可以从这里从头来阅读这个系列 更多关于回调的知识 稍微停下来再思考一下回调的机制.尽管对于以Twisted方式使用Deferred写一个简单的异步程序已经非常了解了,但Deferred提供更多的是只有在比较复杂环境下才会用到的功能.因此,下面我们自己想出一些复杂的环境,以此来观察当使用回调编程时会遇到哪些问题.然后,再来看看deferred是如何解决这些问题的. 因此,我们为诗

vue中简单的小插曲

我们现在来学习一下vue中一些简单的小东西: 首先我们必须要引入vue.js文件哦! 1.有关文本框里的checkbox js代码: new Vue({ el:"#app", data:{ mag:" " } }) html代码: <div id="app"> <input type="checkbox" v-model="mag"> <h1>{{mag}}</h1