Tornado 协程

同步异步I/O客户端

from tornado.httpclient import HTTPClient,AsyncHTTPClient

def ssync_visit():
    http_client = HTTPClient()
    response = http_client.fetch(‘www.baidu.com‘) # 阻塞,直到网站请求完成
    print(response.body)

def hendle_response(response):
    print(response.body)
def async_visit():
    http_client = AsyncHTTPClient()
    http_client.fetch(‘www.baidu.com‘,callback=hendle_response) # 非阻塞

async_visit()

协程

1、编写协程函数

from tornado import gen # 引入协程库

from tornado.httpclient import AsyncHTTPClient

@gen.coroutine
def coroutine_visit():
    http_client = AsyncHTTPClient()
    response = yield http_client.fetch(‘www.baidu.com‘)
    print(response.body)

2、调用协程函数

由于Tornado协程基于python的yield关键字实现,所以不能调用普通函数一样调用协程函数

协程函数可通过以下三种方式调用

  • 在本身是协程的函数内通过yield关键字调用
  • 在IOLoop尚未启动时,通过IOLoop的run_sync()函数调用
  • 在IOLoop已经启动时,通过IOLoop的spawn_callback()函数调用

  下面是一个通过协程函数调用协程函数的例子

@gen.coroutine
def outer_coroutine():
    print(‘开始调用另一个协程‘)
    yield coroutine_visit()
    print(‘outer_coroutine 调用结束‘)
outer_coroutine和coroutine_visit都是协程函数,他们之间可以通过yield关键字进行调用

IOLoop 是Tornado的主事件循环对象,Tornado程序通过它监听外部客户端的访问请求,并执行相应的操作,当程序尚未进入IOLoop的runing状态时,可以通过run_sync()函数调用协程函数,比如:
from tornado import gen # 引入协程库
from tornado.ioloop import IOLoop
from tornado.httpclient import AsyncHTTPClient

@gen.coroutine
def coroutine_visit():
    http_client = AsyncHTTPClient()
    response = yield http_client.fetch(‘http://www.baidu.com‘)
    print(response.body)

def func_normal():
    print(‘开始调用协程‘)
    IOLoop.current().run_sync(lambda: coroutine_visit())
    print(‘结束协程调用‘)
func_normal()

本例中run_sync()函数将当前函数的执行进行阻塞,直到被调用的协程执行完成

Tornado 要求协程函数在IOloop的running状态才能被调用,只不过run_sync函数自动完成了启动,停止IOLoop的步骤,他的实现逻辑为:启动IOLoop-调用被lambda封装的协程函数-停止IOLoop

当tornado程序已经处于running 状态时协程的调用如下:

def func_normal():
    print(‘开始调用协程‘)
    IOLoop.current().spawn_callback(coroutine_visit)
    print(‘结束协程调用‘)
func_normal()
开始调用协程
结束协程调用

本例中spawn_callback函数不会等待被调用的协程执行完成,而协程函数将会由IOLoop在合适的时机进行调用,并且spawn_callback函数没有提供电泳返回值的方法,所以hi能用该函数调用没有返回值的协程函数

3、在协程中调用阻塞函数

在协程中直接调用阻塞函数会影响协程本身的性能,所以tornado提供了在协程中利用线程池调度阻塞函数,从而不影响协程本身继续执行的方法,实例代码如下:

from concurrent.futures import ThreadPoolExecutor
from tornado import gen
thread_pool = ThreadPoolExecutor(2)

def mySleep(count):
    import time
    for i in range(count):
        time.sleep(1)

@gen.coroutine
def call_backing():
    print(‘开始调用当前函数‘)
    yield thread_pool.submit(mySleep,10)
    print(‘结束调用‘)

call_backing()

4、在协程中的等待多个异步调用

tornado允许在协程中用一个yield关键字等待多个异步调用,只需把这些调用用列表或字典的方式传递给yield关键字即可

实例如下:

from tornado import gen # 引入协程库
from tornado.ioloop import IOLoop
from tornado.httpclient import AsyncHTTPClient

@gen.coroutine
def coroutine_visit():
    http_client = AsyncHTTPClient()
    list_response = yield [http_client.fetch(‘http://www.baidu.com‘),
                           http_client.fetch(‘http://www.sina.com‘),
                           http_client.fetch(‘http://www.163.com‘)
                           ]
    for response in list_response:
        print(response.body)

def func_normal():
    print(‘开始调用协程‘)
    IOLoop.current().run_sync(lambda: coroutine_visit())
    print(‘结束协程调用‘)
func_normal()

字典同理,不再演示

Tornado 网站

异步化,协程化

时间: 2024-08-07 13:07:03

Tornado 协程的相关文章

tornado协程(coroutine)原理

tornado中的协程是如何工作的 本文将按以下结构进行组织,说明tornado中协程的执行原理 协程定义 生成器和yield语义 Future对象 ioloop对象 函数装饰器coroutine 总结 协程定义 Coroutines are computer program components that generalize subroutines for nonpreemptive multitasking, by allowing multiple entry points for su

Tornado协程在python2.7如何返回值

错误写法 class RemoteHandler(web.RequestHandler): @gen.coroutine def get(self): response = httpclient('http://www.baidu.com') self.write(response.body) @gen.coroutine def httpClient(url): result = yield httpclient.AsyncHTTPClient().fetch(url) return resu

深入tornado中的协程

tornado使用了单进程(当然也可以多进程) + 协程 + I/O多路复用的机制,解决了C10K中因为过多的线程(进程)的上下文切换 而导致的cpu资源的浪费. tornado中的I/O多路复用前面已经讲过了.本文不做详细解释. 来看一下tornado中的协程模块:tornado.gen: tornado.gen是根据生成器(generator)实现的,用来更加简单的实现异步. 先来说一下tornado.gen.coroutine的实现思路: 我们知道generator中的yield语句可以使

从python协程理解tornado异步

博客原文地址:http://www.v2steve.com/py_tornado_async.html 刚接触tornado时候最疑惑的问题就是tornado.gen.coroutine是怎么实现的.如何在代码中用同步格式实现异步效果.看了几次源码发现其实就是python协程的一个具体应用.下面从生成器开始,说说tornado的异步. python协程 python利用yield关键字实现生成器,yield就像生化危机里的T病毒,被yield感染的函数都不仅仅是函数,而是一个函数生成器.函数生成

进程和线程、协程的区别

现在多进程多线程已经是老生常谈了,协程也在最近几年流行起来.python中也有协程库,tornado中也用了gevent封装好的协程.本文主要介绍进程.线程和协程三者之间的区别. 一.概念 1.进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位.每个进程都有自己的独立内存空间,不同进程通过进程间通信来通信.由于进程比较重量,占据独立的内存,所以上下文进程间的切换开销(栈.寄存器.虚拟内存.文件句柄等)比较大,但相对比较稳定安全. 2.线

FastRPC 3.2 发布,高性能 C++ 协程 RPC 框架

用过go erlang gevent的亲们应该都会知道协程在应用中带来的方便. 如果对协程不理解的同学,通过阅读下面例子可以快速了解我们框架的协程的意义,已了解的可以跳过这部分. 协程例子:假设我们要发个Get请求获取百度首页内容: php同步方式:$result = file_get_contents("http://www.baidu.com"), php果然是世界上最好的语言,多么简洁. 然后java和c++的同学开始不屑了: "呵呵, 同步,鄙视你不解释."

关于协程的学习 & 线程栈默认10M

先看的这篇文章:http://blog.csdn.net/qq910894904/article/details/41699541 以nginx为代表的事件驱动的异步server正在横扫天下,那么事件驱动模型会是server端模型的终点吗? 我们可以深入了解下,事件驱动编程的模型. 事件驱动编程的架构是预先设计一个事件循环,这个事件循环程序不断地检查目前要处理的信息,根据要处理的信息运行一个触发函数.其中这个外部信息可能来自一个目录夹中的文件,可能来自键盘或鼠标的动作,或者是一个时间事件.这个触

线程代替epll实现协程的原理(yield调用next时的函数使用其他线程进行处理,不影响主线程继续运行,next异步处理线程处理后使用send传回处理结果)

1 异步的实际说明 对于耗时的过程,我们将其交给别人(如其另外一个线程)去执行,而我们继续往下处理,当别人执行完耗时操作后再将结果反馈给我们,这就是我们所说的异步. 我们用容易理解的线程机制来实现异步. 2. 协程写法实现原理 在使用回调函数写异步程序时,需将本属于一个执行逻辑(处理请求a)的代码拆分成两个函数req_a和on_finish,这与同步程序的写法相差很大.而同步程序更便于理解业务逻辑,所以我们能否用同步代码的写法来编写异步程序? 回想yield关键字的作用? 初始版本 # codi

python异步加协程获取比特币市场信息

目标 选取几个比特币交易量大的几个交易平台,查看对应的API,获取该市场下货币对的ticker和depth信息.我们从网站上选取4个交易平台:bitfinex.okex.binance.gdax.对应的交易对是BTC/USD,BTC/USDT,BTC/USDT,BTC/USD. 一.ccxt库 开始想着直接请求市场的API,然后再解析获取下来的数据,但到github上发现一个比较好得python库,里面封装好了获取比特币市场的相关函数,这样一来就省掉分析API的时间了.因此我只要传入市场以及对应