从python协程理解tornado异步

博客原文地址:http://www.v2steve.com/py_tornado_async.html

刚接触tornado时候最疑惑的问题就是tornado.gen.coroutine是怎么实现的。如何在代码中用同步格式实现异步效果。看了几次源码发现其实就是python协程的一个具体应用。下面从生成器开始,说说tornado的异步。

python协程

python利用yield关键字实现生成器,yield就像生化危机里的T病毒,被yield感染的函数都不仅仅是函数,而是一个函数生成器。函数生成器实例化后可以不断调用next方法吐出yield后的值。见下面代码:

def gen():
    while True:
        a = yield
        print a

b = gen()
b.next() # 直接返回,无输出
b.send(16) # 打印16

如上面代码,函数gen()因为存在yield关键字,就变成了一个生成器函数,实例化这个生成器函数gen得到b,调用b的next()方法,会执行gen(),直到遇到第一个yield关键字后返回yield后的值(第一次执行直接返回,没有返回值),这时如果继续调用b.next(),就会每次读到yield处返回一个值。但是倘若调用b的send()方法,就会传递一个值到给生成器,CPU会从刚才挂起的状态开始继续,从yield后传入此值继续执行直到再遇到yield。

这其实就是用生成器来实现一个协程的例子,程序在需要跳转的地方被挂起,CPU跳转到其他代码执行,一旦需要继续刚才的状态,就用send发送一个值。但是这有什么用呢?没错,就是接下来要讲的异步IO。当执行到一段需要等待IO返回结果的代码时,为了提高效率,可以将当前执行状态挂起,转而去干其他事情。一旦IO处理完毕,就触发回调函数,回调函数里执行上述的send()方法,将处理结果传递回之前的状态里,程序再次回到之前挂起的状态,继续执行刚才未完成的操作。

tornado的异步

tornado使用自己的异步装饰器gen.coroutine装饰需要异步操作的handler的get(或post)方法:

@tornado.gen.coroutine
def get():
    result = yield foo()
    return result

下面看看这个装饰器做了哪些操作(不了解装饰器的朋友请自行搜索一下,这是python的最好用的语法糖)。我根据需要精简了部分代码,请自行查看源码了解更多:

def _make_coroutine_wrapper(func, replace_callback):
    @functools.wraps(func)
    def wrapper(*args, **kwargs):
        future = TracebackFuture()

        if replace_callback and ‘callback‘ in kwargs:
            callback = kwargs.pop(‘callback‘)
            IOLoop.current().add_future(
                future, lambda future: callback(future.result()))

        try:
            result = func(*args, **kwargs)
        except (Return, StopIteration) as e:
            result = getattr(e, ‘value‘, None)
        except Exception:
            future.set_exc_info(sys.exc_info())
            return future
        else:
            if isinstance(result, types.GeneratorType):
                try:
                    orig_stack_contexts = stack_context._state.contexts
                    yielded = next(result)
                    if stack_context._state.contexts is not orig_stack_contexts:
                        yielded = TracebackFuture()
                        yielded.set_exception(
                            stack_context.StackContextInconsistentError(
                                ‘stack_context inconsistency (probably caused ‘
                                ‘by yield within a "with StackContext" block)‘))
                except (StopIteration, Return) as e:
                    future.set_result(getattr(e, ‘value‘, None))
                except Exception:
                    future.set_exc_info(sys.exc_info())
                else:
                    Runner(result, future, yielded)
                try:
                    return future
                finally:
        future.set_result(result)
        return future
    return wrapper

分析一下,首先开头部分判断如果有callback函数,就把callback加入ioloop。否则把被修饰的func实例化为一个生成器result(即上面代码里的get()函数,因为yield的缘故,get已经成为一个生成器函数),然后执行一次next(result),注意,在上上面的代码中,get()中yield的方法foo()是异步操作,所以通知IO后没有等待,直接return,就像最开始说的协程示例一样,修饰器里的next(result)也直接返回,异步操作被挂起,之后实例化一个Runner,Runner内部会将自己的callback放入ioloop,callback中包含了send方法。一旦IO处理完毕,ioloop就调用callback,callback再调用send将结果塞回yield之后的代码处,CPU跳回来继续执行之前挂起的函数。
整个过程下来,代码看起来是从头到尾行云流水,但是内部实现的逻辑却是利用python的协程,让CPU在不同的代码间自如跳转,为IO处理实现异步化。

时间: 2024-08-10 17:20:39

从python协程理解tornado异步的相关文章

Python 协程总结

Python 协程总结 理解 协程,又称为微线程,看上去像是子程序,但是它和子程序又不太一样,它在执行的过程中,可以在中断当前的子程序后去执行别的子程序,再返回来执行之前的子程序,但是它的相关信息还是之前的. 优点: 极高的执行效率,因为子程序切换而不是线程切换,没有了线程切换的开销: 不需要多线程的锁机制,因为只有一个线程在执行: 如果要充分利用CPU多核,可以通过使用多进程+协程的方式 使用 打开asyncio的源代码,可以发现asyncio中的需要用到的文件如下: 下面的则是接下来要总结的

00.用 yield 实现 Python 协程

来源:Python与数据分析 链接: https://mp.weixin.qq.com/s/GrU6C-x4K0WBNPYNJBCrMw 什么是协程 引用官方的说法: 协程是一种用户态的轻量级线程,协程的调度完全由用户控制.协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快. 与线程相比,协程更轻量.一个Python线程大概占用8M内

Python核心技术与实战——十五|Python协程

我们在上一章将生成器的时候最后写了,在Python2中生成器还扮演了一个重要的角色——实现Python的协程.那什么是协程呢? 协程 协程是实现并发编程的一种方式.提到并发,肯很多人都会想到多线程/多进程模型,这就是解决并发问题的经典模型之一.在最初的互联网世界中,多线程/多进程就在服务器并发中起到举足轻重的作用. 但是随着互联网的发展,慢慢很多场合都会遇到C10K瓶颈,也就是同时连接到服务器的客户达到1W,于是,很多代码就跑崩溃,因为进程的上下文切换占用了大量的资源,线程也顶不住如此巨大的压力

python协程:yield的使用

本文和大家分享的主要是python协程yield相关内容,一起来看看吧,希望对大家学习python有所帮助. 协程定义 协程的底层架构是在pep342 中定义,并在python2.5 实现的. python2.5 中,yield关键字可以在表达式中使用,而且生成器API中增加了 .send(value)方法.生成器可以使用.send(...)方法发送数据,发送的数据会成为生成器函数中yield表达式的值. 协程是指一个过程,这个过程与调用方协作,产出有调用方提供的值.因此,生成器可以作为协程使用

# 进程/线程/协程 # IO:同步/异步/阻塞/非阻塞 # greenlet gevent # 事件驱动与异步IO # Select\Poll\Epoll异步IO 以及selectors模块 # Python队列/RabbitMQ队列

1 # 进程/线程/协程 2 # IO:同步/异步/阻塞/非阻塞 3 # greenlet gevent 4 # 事件驱动与异步IO 5 # Select\Poll\Epoll异步IO 以及selectors模块 6 # Python队列/RabbitMQ队列 7 8 ############################################################################################## 9 1.什么是进程?进程和程序之间有什么

理解Python协程:从yield/send到yield from再到async/await

Python中的协程大概经历了如下三个阶段: 1. 最初的生成器变形yield/send 2. 引入@asyncio.coroutine和yield from 3. 在最近的Python3.5版本中引入async/await关键字 一.生成器变形yield/send def mygen(alist): while len(alist) > 0: c = randint(0, len(alist)-1) yield alist.pop(c) a = ["aa","bb&q

python协程与异步I/O

协程 首先要明确,线程和进程都是系统帮咱们开辟的,不管是thread还是process他内部都是调用的系统的API,而对于协程来说它和系统毫无关系; 协程不同于线程的是,线程是抢占式的调度,而协程是协同式的调度,也就是说,协程需要自己做调度. 他就和程序员有关系,对于线程和进程来说,调度是由CPU来决定调度的; 对于协程来说,程序员就是上帝,你想让谁执行到哪里他就执行到哪里; 协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续).协程,

python 协程, 异步IO Select 和 selectors 模块 多并发演示

主要内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 selectors 模块 多并发演示 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开

Python 协程/异步IO/Select\Poll\Epoll异步IO与事件驱动

1 Gevent 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 方便切换控