Python Twisted 学习系列3(转载stulife最棒的Twisted入门教程)

第三部分:初步认识Twisted

作者:[email protected]http://krondo.com/?p=1333译者:杨晓伟(采用意译)

第三部分:开始认识Twisted

可以从这里从头开始阅读这个系列。

twisted的方式实现前面的内容

最终我们将使用twisted的方式来重新实现我们前面的异步模式客户端。不过,首先我们先稍微写点简单的twisted程序来认识一下twisted。

最最简单的twisted程序就是下面的代码,其在twisted-intro目录中的basic-twisted/simple.py中。

from twisted.internet import reactor

reactor.run()

可以用下面的命令来运行它:

python basic-twisted/simple.py

正如在第二部分所说的那样,twisted是实现了Reactor模式的,因此它必然会有一个对象来代表这个reactor或者说是事件循环,而这正是twisted的核心。上面代码的第一行引入了reactor,第二行开始启动事件循环。

这个程序什么事情也不做。除非你通过ctrl+c来终止它,否则它会一直运行下去。正常情况下,我们需要给出事件循环或者文件描述符来监视I/O(连接到某个服务器上,比如说我们那个诗歌服务器)。后面我们会来介绍这部分内容,现在这里的reactor被卡住了。值得注意的是,这里并不是一个在不停运行的简单循环。如果你在桌面上有个CPU性能查看器,可以发现这个循环体不会带来任何性能损失。实际上,这个reactor被卡住在第二部分图5的最顶端,等待永远不会到来的事件发生(更具体点说是一个调用select函数,却没有监视任何文件描述符)。

下面我们会让这个程序丰富起来,不过事先要说几个结论:

1.Twisted的reactor只有通过调用reactor.run()来启动。

2.reactor循环是在其开始的进程中运行,也就是运行在主进程中。

3.一旦启动,就会一直运行下去。reactor就会在程序的控制下(或者具体在一个启动它的线程的控制下)。

4.reactor循环并不会消耗任何CPU的资源。

5.并不需要显式的创建reactor,只需要引入就OK了。

最后一条需要解释清楚。在Twisted中,reactor是Singleton(也是一种模式),即在一个程序中只能有一个reactor,并且只要你引入它就相应地创建一个。上面引入的方式这是twisted默认使用的方法,当然了,twisted还有其它可以引入reactor的方法。例如,可以使用twisted.internet.pollreactor中的系统调用来poll 来代替select方法

若使用其它的reactor,需要在引入twisted.internet.reactor前安装它。下面是安装pollreactor的方法

from twisted.internet import pollreactor

pollreactor.install()

如果你没有安装其它特殊的reactor而引入了twisted.internet.reactor,那么Twisted会为你安装selectreactor。正因为如此,习惯性做法不要在最顶层的模块内引入reactor以避免安装默认reactor,而是在你要使用reactor的区域内安装。

下面是使用 pollreactor重写上上面的程序,可以在basic-twisted/simple-poll.py文件中找到中找到:

from twited.internet import pollreactor

pollreactor.install()

from twisted.internet import reactor

reactor.run()

上面这段代码同样没有做任何事情。

后面我们都会只使用默认的reactor,就单纯为了学习来说 ,所有的不同的reactor做的事情都一样。

你好,Twisted

我们得用Twisted来做什么吧。下面这段代码在reactor循环开始后向终端打印一条消息:

def hello():

    print ‘Hello from the reactor loop!‘

    print ‘Lately I feel like I\‘m stuck in a rut.‘

from twisted.internet import reactor

reactor.callWhenRunning(hello)

print ‘Starting the reactor.‘

reactor.run()

这段代码可以在basic-twisted/hello.py中找到。运行它,会得到如下结果:

Starting the reactor. 
Hello from the reactor loop!
Lately I feel like I‘m stuck in a rut.

仍然需要你手动来关掉程序,因为它在打印完毕后就又卡住了。

值得注意的是,hello函数是在reactor启动后被调用的。这意味是reactor调用的它,也就是说Twisted在调用我们的函数。我们通过调用reactorcallWhenRunning函数,并传给它一个我们想调用函数的引用来实现hello函数的调用。当然,我们必须在启动reactor之前完成这些工作。

我们使用回调来描述hello函数的引用。回调实际上就是交给Twisted(或者其它框架)的一个函数引用,这样Twisted会在合适的时间调用这个函数引用指向的函数,具体到这个程序中,是在reactor启动的时候调用。由于Twisted循环是独立于我们的代码,我们的业务代码与reactor核心代码的绝大多数交互都是通过使用TwistedAPIs回调我们的业务函数来实现的。

我们可以通过下面这段代码来观察Twisted是如何调用我们代码的:

import traceback

def stack():

print ‘The python stack:‘

traceback.print_stack()

from twisted.internet import reactor

reactor.callWhenRunning(stack)

reactor.run()

这段代码的文件是 basic-twisted/stack.py。不出意外,它的输出是:

The python stack: 
...
  reactor.run() <-- This is where we called the reactor 
...
...  <-- A bunch of Twisted function calls
... 
  traceback.print_stack() <-- The second line in the stack function

不用考虑这其中的若干Twisted本身的函数。只需要关心reactor.run()与我们自己的函数调用之间的关系即可。

有关回调的一些其它说明:

Twisted并不是唯一使用回调的框架。许多历史悠久的框架都已在使用它。诸多GUI的框架也是基于回调来实现的,如GTKQT

交互式程序的编程人员特别喜欢回调。也许喜欢到想嫁给它。也许已经这样做了。但下面这几点值得我们仔细考虑下:

1.reactor模式是单线程的。

2.Twisted这种交互式模型已经实现了reactor循环,意味无需我们亲自去实现它。

3.我们仍然需要框架来调用我们自己的代码来完成业务逻辑。

4.因为在单线程中运行,要想跑我们自己的代码,必须在reactor循环中调用它们。

5.reactor事先并不知道调用我们代码的哪个函数

这样的话,回调并不仅仅是一个可选项,而是游戏规则的一部分。

6说明了回调过程中发生的一切:

6
reactor
启用回调

6揭示了回调中的几个重要特性:


1.
我们的代码与Twisted代码运行在同一个进程中。


2.
当我们的代码运行时,Twisted代码是处于暂停状态的。


3.
同样,当Twisted代码处于运行状态时,我们的代码处于暂停状态。


4.reactor
事件循环会在我们的回调函数返回后恢复运行。

在一个回调函数执行过程中,实际上Twisted的循环被有效地阻塞在我们的代码上。因此,因此我们应该确保回调函数不要浪费时间(尽快返回)。特别需要强调的是,我们应该尽量避免在回调函数中使用会阻塞I/O的函数。否则,我们将失去所有使用reactor所带来的优势。Twisted是不会采取特殊的预防措施来防止我们使用可阻塞的代码的,这需要我们自己来确保上面的情况不会发生。正如我们实际所看到的一样,对于普通网络I/O的例子,由于我们让Twisted替我们完成了异步通信,因此我们无需担心上面的事情发生。

其它也可能会产生阻塞的操作是读或写一个非socket文件描述符(如管道)或者是等待一个子进程完成。

如何从阻塞转换到非阻塞操作取决你具体的操作是什么,但是也有一些Twisted
APIs
会帮助你实现转换。值得注意的是,很多标准的Python方法没有办法转换为非阻塞方式。例如,os.system中的很多方法会在子进程完成前一直处于阻塞状态。这也就是它工作的方式。所以当你使用Twisted时,避使用os.system

退出Twisted

原来我们可以使用reactorstop方法来停止Twistedreactor。但是一旦reactor停止就无法再启动了。(Dave的意思是,停止就退出程序了),因此只有在你想退出程序时才执行这个操作。

下面是退出代码,代码文件是basic-twisted/countdown.py


class
Countdown(object):


counter =
5


def
count(self):


from
twisted.internet import
reactor


if
self.counter ==
0:


reactor.stop()


else:


print
self.counter,
‘...‘


self.counter -=
1


reactor.callLater(1,
self.count)


from
twisted.internet import
reactor


reactor.callWhenRunning(Countdown().count)


print
‘Start!‘


reactor.run()


print
‘Stop!‘

在这个程序中使用了callLater函数为Twisted注册了一个回调函数。callLater中的第二个参数是回调函数,第一个则是说明你希望在将来几秒钟时执行你的回调函数。那Twisted如何来在指定的时间执行我们安排好的的回调函数。由于程序并没有监听任何文件描述符,为什么它没有像前那些程序那样卡在select循环上?select函数,或者其它类似的函数,同样会接纳一个超时参数。如果在只提供一个超时参数值并且没有可供I/O操作的文件描述符而超时时间到时,select函数同样会返回。因此,如果设置一个0的超时参数,那么会无任何阻塞地立即检查所有的文件描述符集。

你可以将超时作为图5中循环等待中的一种事件来看待。并且Twisted使用超时事件来确保那些通过callLater函数注册的延时回调在指定的时间执行。或者更确切的说,在指定时间的前后会执行。如果一个回调函数执行时间过长,那么下面的延时回调函数可能会被相应的后延执行。TwistedcallLater机制并不为硬实时系统提供任何时间上的保证。

下面是上面程序的输出:

Start! 
5 ... 
4 ...
3 ... 
2 ...
1 ... 
Stop!

捕获它,Twisted

由于Twisted经常会在回调中结束调用我们的代码,因此你可能会想,如果我们的回调函数中出现异常会发生什么状况。(Dave的意思是说,在结束我们的回调函数后会再次回到Twisted代码中,若在我们的回调中发生异常,那是不是异常会跑到Twisted代码中,而造成不可想象的后果 )让我们来试试,在basic-twisted/exception.py中的程序会在一个回调函数中引发一个异常,但是这不会影响下一个回调:

def falldown():

raise Exception(‘I fall down.‘)

def upagain():

print ‘But I get up again.‘

reactor.stop()

from twisted.internet import reactor

reactor.callWhenRunning(falldown)

reactor.callWhenRunning(upagain)

print ‘Starting the reactor.‘

reactor.run()

当你在命令行中运时,会有如下的输出:

Starting the reactor.
Traceback (most recent call last):
  ... # I removed most of the traceback
exceptions.Exception: I fall down.
But I get up again.

注意,尽管我们看到了因第一个回调函数引发异常而出现的跟踪栈,第二个回调函数依然能够执行。如果你将reactor.stop()注释掉的话,程序会继续运行下去。所以说,reactor并不会因为回调函数中出现失败(虽然它会报告异常)而停止运行。

网络服务器通常需要这种健壮的软件。它们通常不希望由于一个随机的Bug导致崩溃。也并不是说当我们发现自己的程序内部有问题时,就垂头丧气。只是想说Twisted能够很好的从失败的回调中返回并继续执行。

请继续讲解诗歌服务器

现在,我们已经准备好利用Twisted来搭建我们的诗歌服务器。在第4部分,我们会实现我们的异步模式的诗歌服务器的Twisted版。

时间: 2024-08-25 16:29:41

Python Twisted 学习系列3(转载stulife最棒的Twisted入门教程)的相关文章

Python Twisted 学习系列1(转载stulife最棒的Twisted入门教程)

第一部分:Twisted理论基础 作者:[email protected]http://krondo.com/?p=1209译者:杨晓伟(采用意译) 前言: 最近有人在Twisted邮件列表中提出诸如”为任务紧急的人提供一份Twisted介绍”的的需求.值得提前透露的是,这个序列并不会如他们所愿.尤其是介绍Twisted框架和基于Python 的异步编程而言,可能短时间无法讲清楚.因此,如果你时间紧急,这恐怕不是你想找的资料. 我相信如果对异步编程模型一无所知,快速的介绍同样无法让你对其有所理解

Python Twisted 学习系列4(转载stulife最棒的Twisted入门教程)

第四部分:由Twisted支持的诗歌客户端 作者:[email protected]://krondo.com/?p=1445译者:杨晓伟(采用意译) 第四部分:由Twisted支持的诗歌客户端 你可以在这里从头开始阅读这个系列. 第一个twisted支持的诗歌服务器 尽管Twisted大多数情况下用来写服务器代码,为了一开始尽量从简单处着手,我们首先从简单的客户端讲起. 让我们来试试使用Twisted的客户端.源码在twisted-client-1/get-poetry.py.首先像前面一样要

Python Twisted 学习系列20(转载stulife最棒的Twisted入门教程)

第二十部分 轮子中的轮子: Twisted和Erlang 简介 在这个系列中,有一个事实我们还没有介绍,即混合同步的"普通Python"代码与异步Twisted代码不是一个简单的任务,因为在Twisted程序中阻滞不定时间将使异步模型的优势丧失殆尽. 如果你是初次接触异步编程,那么你得到的知识看起来有一些局限.你可以在Twisted框架内使用这些新技术,而不是在更广阔的一般Python代 码世界中.同时,当用Twisted工作时,你仅仅局限于那些专门为作为Twisted程序一部分所写的

Python Twisted 学习系列19(转载stulife最棒的Twisted入门教程)

第十九部分 改变之前的想法 简介 Twisted是一个正在进展的项目,它的开发者会定期添加新的特性并且扩展旧的特性. 随着Twisted 10.1.0发布,开发者向 Deferred 类添加了一个新的特性—— cancellation ——这正是我们今天要研究的. 异步编程将请求和响应解耦了,如此又带来一个新的可能性:在请求结果和返回结果之间,你可能决定不再需要这个结果了.考虑一下 :doc:`p14` 中的诗歌代理服务器.下面是这个如何工作的,至少对于诗歌的第一次请求: 一个对诗歌的请求来了.

Python Twisted 学习系列11(转载stulife最棒的Twisted入门教程)

第十一部分:改进诗歌下载服务器 作者:[email protected]http://krondo.com/?p=2048译者:杨晓伟(采用意译) 第十一部分:改进诗歌下载服务器 你可以从这里从头阅读这个系列. 诗歌下载服务器 到目前为止,我们已经学习了大量关于诗歌下载客户端的Twisted的知识,接下来,我们使用Twisted重新实现我们的服务器端.利益于Twisted的抽象机制,接下来你会发现我们前面已经几乎全部学习到这部分知识了.其实现源码在twisted-server-1/fastpoe

Python Twisted 学习系列22(转载stulife最棒的Twisted入门教程)

第二十二部分 结束 全部完成 呼呼! 感谢你一路支持. 在我开始时完全没有想到这个系列会这样长,会花这么多时间完成,但是创建这个系列的过程使我非常享受,也希望你喜欢它. 既然我已经完成了,我会进一步考虑将其转化为PDF格式.然而,不保证. 最后,我想总结一些帮助你继续学习Twisted的建议. 进一步阅读 首先,我建议阅读Twisted的 在线文档. 虽然它备受指责,但我觉得这总比饱受赞誉要好. 如果你希望使用Twisted进行网络编程, 那么 Jean-Paul Calderone 的广受关注

Python Twisted 学习系列5(转载stulife最棒的Twisted入门教程)

第五部分:由Twisted支持的诗歌客户端 作者:[email protected] http://krondo.com/?p=1522译者:杨晓伟(采用意译) 第五部分:由Twited支持的诗歌下载服务客户端 你可以从这里从头开始阅读这个系列 抽象地构建客户端 在第四部分中,我们构建了第一个使用Twisted的客户端.它确实能很好地工作,但仍有提高的空间. 首先是,这个客户端竟然有创建网络端口并接收端口处的数据这样枯燥的代码.Twisted理应为我们实现这些例程性功能,省得我们每次写一个新的程

Python Twisted 学习系列6(转载stulife最棒的Twisted入门教程)

第六部分:抽象地利用Twisted 作者:[email protected]http://krondo.com/?p=1595译者:杨晓伟(采用意译) 第六部分:抽象地利用Twisted 你可以从这里从头开始阅读这个系列. 打造可以复用的诗歌下载客户端 我们在实现客户端上已经花了大量的工作.最新版本的(2.0)客户端使用了Transports,Protocols和Protocol Factories,即整个Twisted的网络框架.但仍有大的改进空间.2.0版本的客户端只能在命令行里下载诗歌.这

Python Twisted 学习系列8(转载stulife最棒的Twisted入门教程)

第八部分:使用Deferred的诗歌下载客户端 作者:[email protected]http://krondo.com/?p=1778译者:杨晓伟(采用意译) 第八部分:使用Deferred的诗歌下载客户端 可以从这里从头开始阅读这个系列. 客户端4.0 我们已经对deferreds有些理解了,现在我们可以使用它重写我们的客户端.你可以在twisted-client-4/get-poetry.py中看到它的实现. 这里的get_poetry已经再也不需要callback与errback参数了