理解 tornado.gen

转自：http://blog.xiaogaozi.org/2012/09/21/understanding-tornado-dot-gen/

理解 tornado.gen

SEP 21ST, 2012

Tornado 通过 @asynchronous decorator 来实现异步请求，但使用的时候必须将 request handler 和 callback 分离开，tornado.gen 模块可以帮助我们在一个函数里完成这两个工作。下面是官方的一个例子：

1
2
3
4
5
6
7
8

class GenAsyncHandler(RequestHandler):
    @asynchronous
    @gen.engine
    def get(self):
        http_client = AsyncHTTPClient()
        response = yield gen.Task(http_client.fetch, "http://example.com")
        do_something_with_response(response)
        self.render("template.html")

这里用到了两个 decorator 稍显复杂，第一个 @asynchronous 会首先被执行，它的主要工作就是将 RequestHandler 的 _auto_finish 属性置为 false，如下：

web.pydownload

1
2
3
4
5
6
7
8
9
10

def asynchronous(method):
    @functools.wraps(method)
    def wrapper(self, *args, **kwargs):
        if self.application._wsgi:
            raise Exception("@asynchronous is not supported for WSGI apps")
        self._auto_finish = False
        with stack_context.ExceptionStackContext(
            self._stack_context_handle_exception):
            return method(self, *args, **kwargs)
    return wrapper

接着就是最重要的 @gen.engine，这里充分利用了 generator 的各种特性，首先来看 @gen.engine 的实现（我删减了部分代码以简化理解）：

gen.pydownload

1
2
3
4
5
6
7
8
9

def engine(func):
    @functools.wraps(func)
    def wrapper(*args, **kwargs):
        gen = func(*args, **kwargs)
        if isinstance(gen, types.GeneratorType):
            runner = Runner(gen)
            runner.run()
            return
    return wrapper

局部变量 gen 代表第一段代码里的 get 函数，因为 get 包含了 yield 语句，因此成为了一个 generator。注意这里 get 并没有被执行，只是赋给了 gen。接下来是运行 Runner 对象的 run 函数。在理解 run 之前需要知道 generator 是通过调用 next() 或者 send() 来启动，启动之后会在遇到 yield 的地方 hold 住，然后将 yield 后面的语句的返回值返回给调用者，generator 此时即处于暂停运行状态，所有上下文都会保存。再次调用 next() 或 send() 便会恢复 generator 的运行，如果不再遇到 yield 语句就会抛出 StopIteration 异常。在恢复运行的同时 yield 语句本身会有返回值，如果是通过调用 next() 来恢复的，那么返回值永远是 None，而如果是通过 send() 则返回值取决于传给 send() 的参数。更多关于 generator 的说明请参考官方文档。

结合第一段的示例代码，可以想到 run 干的工作可能就是启动 generator，然后获得 gen.Task对象并调用 http_client.fetch 函数，等回调回来之后恢复 generator 的运行，最后将回调的返回值通过 send() 赋给 response。下面是我简化后的代码。

gen.pydownload

1
2
3
4
5
6
7
8
9
10
11
12

def run(self):
    while True:
        if not self.yield_point.is_ready():
            return
        next = self.yield_point.get_result()
        try:
            yielded = self.gen.send(next)
        except StopIteration:
            return
        if isinstance(yielded, YieldPoint):
            self.yield_point = yielded
            self.yield_point.start(self)

第 3 行检查回调是否完成，第一次运行 run 总是会返回 True。第 5 行获取回调的返回值，同样的第一次运行返回的是 None。将 None 传给 send() 启动 generator，yielded 即是 gen.Task 对象，第 12 行调用 start 开始运行我们真正需要运行的函数，对应到示例代码就是http_client.fetch 函数，同时将 Runner 的 result_callback 作为回调函数。如下：

gen.pydownload

1
2
3
4
5
6
7
8
9
10
11

def result_callback(self, key):
    def inner(*args, **kwargs):
        if kwargs or len(args) > 1:
            result = Arguments(args, kwargs)
        elif args:
            result = args[0]
        else:
            result = None
        self.results[key] = result
        self.run()
    return inner

在得到回调返回值之后再次调用 run，通过 get_result 获取返回值，最后将返回值返回赋给 response，继续 request handler 的代码流程。

时间： 2024-08-04 23:39:17

理解 tornado.gen的相关文章

深入理解Tornado——一个异步web服务器

本人的第一次翻译,转载请注明出处:http://www.cnblogs.com/yiwenshengmei/archive/2011/06/08/understanding_tornado.html原文地址:http://golubenco.org/?p=16 这篇文章的目的在于对Tornado这个异步服务器软件的底层进行一番探索.我采用自底向上的方式进行介绍,从轮巡开始,向上一直到应用层,指出我认为有趣的部分.所以,如果你有打算要阅读Tornado这个web框架的源码,又或者是你对一个异步we

从python协程理解tornado异步

博客原文地址:http://www.v2steve.com/py_tornado_async.html 刚接触tornado时候最疑惑的问题就是tornado.gen.coroutine是怎么实现的.如何在代码中用同步格式实现异步效果.看了几次源码发现其实就是python协程的一个具体应用.下面从生成器开始,说说tornado的异步. python协程 python利用yield关键字实现生成器,yield就像生化危机里的T病毒,被yield感染的函数都不仅仅是函数,而是一个函数生成器.函数生成

tornado.gen.coroutine-编写异步函数

异步函数: 1. 返回Future 2. 必须有set_result( )或者set_exception( )调用. 这里展示一个异步socket读取的例子: 首先定义一个定时返回的服务器,来模拟耗时的操作 from tornado.tcpserver import TCPServer from tornado import ioloop from tornado import gen  from tornado.concurrent import Future def sleep(durati

tornado.gen.coroutine-协程

http://blog.csdn.net/seeground/article/details/49488281

深入理解yield(三)：yield与基于Tornado的异步回调

转自:http://beginman.cn/python/2015/04/06/yield-via-Tornado/ 作者:BeginMan 版权声明:本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接. 发表于 2015-04-06 在深入理解yield(二):yield与协程 和深入理解yield(一):yield原理已经对yield原理及在python中的运用了解了很多,那么接下来就要结合Tornado,进行python异步的分析. 一.异步的实

tornado 杂记

一.建立一个简单的 hello world 网页 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 import tornado.ioloop import tornado.web class MainHandler( tornado.web.RequestHandler ):     def get(self):         self.write("Hello, world")         return setti

tornado学习精要

最简单的应用在程序的最顶部,我们导入了一些Tornado模块.虽然Tornado还有另外一些有用的模块,但在这个例子中我们必须至少包含这四个模块. 12341234包括了一个有用的模块(tornado.options)来从命令行中读取设置.我们在这里使用这个模块指定我们的应用监听HTTP请求的端口. 1212工作流程:如果一个与define语句中同名的设置在命令行中被给出,那么它将成为全局options的一个属性. 如果用户运行程序时使用了–help选项,程序将打印出所有你定义的选项以及你在de

深入tornado中的协程

tornado使用了单进程(当然也可以多进程) + 协程 + I/O多路复用的机制,解决了C10K中因为过多的线程(进程)的上下文切换 而导致的cpu资源的浪费. tornado中的I/O多路复用前面已经讲过了.本文不做详细解释. 来看一下tornado中的协程模块:tornado.gen: tornado.gen是根据生成器(generator)实现的,用来更加简单的实现异步. 先来说一下tornado.gen.coroutine的实现思路: 我们知道generator中的yield语句可以使

使用tornado让你的请求异步非阻塞

http://www.dongwm.com/archives/shi-yong-tornadorang-ni-de-qing-qiu-yi-bu-fei-zu-sai/?utm_source=tuicool&utm_medium=referral 前言 也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良好. 后来发现,打开页面会有很多请求后端数据库