tornado异步请求非阻塞-乾颐堂

前言

也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良好. 后来发现,打开页面会有很多请求后端数据库的访问,有一个mongodb的数据库业务api的rest服务.但是它的tornado却用错了,一步步的来研究问题:

说明

以下的例子都有2个url,一个是耗时的请求,一个是可以或者说需要立刻返回的请求,我想就算一个对技术不熟,从道理上来说的用户, 他希望的是他访问的请求不会影响也不会被其他人的请求影响

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.httpclient

import time

from tornado.options import define, options

define("port", default=8000, help="run on the given port", type=int)

class SleepHandler(tornado.web.RequestHandler):

def get(self):

time.sleep(5)

self.write("when i sleep 5s")

class JustNowHandler(tornado.web.RequestHandler):

def get(self):

self.write("i hope just now see you")

if __name__ == "__main__":

tornado.options.parse_command_line()

app = tornado.web.Application(handlers=[

(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

http_server = tornado.httpserver.HTTPServer(app)

http_server.listen(options.port)

tornado.ioloop.IOLoop.instance().start()

假如你使用页面请求或者使用哪个httpie,curl等工具先访问http://localhost:8000/sleep,再访问http://localhost:8000/justnow.你会发现本来可以立刻返回的/jsutnow的请求会一直阻塞到/sleep请求完才返回.

这是为啥?为啥我的请求被/sleep请求阻塞了?如果平时我们的web请求足够快我们可能不会意识到这个问题,但是事实上经常会有一些耗时的进程,意味着应用程序被有效的锁定直至处理结束.

这是时候你有没有想起@tornado.web.asynchronous这个装饰器?但是使用这个装饰器有个前提就是你要耗时的执行需要执行异步,比如上面的time.sleep,你只是加装饰器是没有作用的,而且需要注意的是 Tornado默认在函数处理返回时关闭客户端的连接,但是当你使用@tornado.web.asynchonous装饰器时,Tornado永远不会自己关闭连接,需要显式的self.finish()关闭

我们大部分的函数都是阻塞的, 比如上面的time.sleep其实tornado有个异步的实现:

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.gen

import tornado.httpclient

import tornado.concurrent

import tornado.ioloop

import time

from tornado.options import define, options

define("port", default=8000, help="run on the given port", type=int)

class SleepHandler(tornado.web.RequestHandler):

@tornado.web.asynchronous

@tornado.gen.coroutine

def get(self):

yield tornado.gen.Task(tornado.ioloop.IOLoop.instance().add_timeout, time.time() + 5)

self.write("when i sleep 5s")

class JustNowHandler(tornado.web.RequestHandler):

def get(self):

self.write("i hope just now see you")

if __name__ == "__main__":

tornado.options.parse_command_line()

app = tornado.web.Application(handlers=[

(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

http_server = tornado.httpserver.HTTPServer(app)

http_server.listen(options.port)

tornado.ioloop.IOLoop.instance().start()

这里有个新的tornado.gen.coroutine装饰器, coroutine是3.0之后新增的装饰器.以前的办法是用回调,还是看我这个例子:

class SleepHandler(tornado.web.RequestHandler):

@tornado.web.asynchronous

def get(self):

tornado.ioloop.IOLoop.instance().add_timeout(time.time() + 5, callback=self.on_response)

def on_response(self):

self.write("when i sleep 5s")

self.finish()

使用了callback, 但是新的装饰器让我们通过yield实现同样的效果:你在打开/sleep之后再点击/justnow, justnow的请求都是立刻返回不受影响.但是用了asynchronous的装饰器你的耗时的函数也需要执行异步

刚才说的都是没有意义的例子,下面写个有点用的:读取mongodb数据库数据,然后再前端按行write出来

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.gen

import tornado.httpclient

import tornado.concurrent

import tornado.ioloop

import time

# 一个mongodb出品的支持异步的数据库的python驱动

import motor

from tornado.options import define, options

define("port", default=8000, help="run on the given port", type=int)

# db其实就是test数据库的游标

db = motor.MotorClient().open_sync().test

class SleepHandler(BaseHandler):

@tornado.web.asynchronous

@tornado.gen.coroutine

def get(self):

# 这一行执行还是阻塞需要时间的,我的tt集合有一些数据并且没有索引

cursor = db.tt.find().sort([(‘a‘, -1)])

# 这部分会异步非阻塞的执行二不影响其他页面请求

while (yield cursor.fetch_next):

message = cursor.next_object()

self.write(‘<li>%s</li>‘ % message[‘a‘])

self.write(‘</ul>‘)

self.finish()

def _on_response(self, message, error):

if error:

raise tornado.web.HTTPError(500, error)

elif message:

for i in message:

self.write(‘<li>%s</li>‘ % i[‘a‘])

else:

self.write(‘</ul>‘)

self.finish()

class JustNowHandler(BaseHandler):

def get(self):

self.write("i hope just now see you")

if __name__ == "__main__":

tornado.options.parse_command_line()

app = tornado.web.Application(handlers=[

(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

http_server = tornado.httpserver.HTTPServer(app)

http_server.listen(options.port)

tornado.ioloop.IOLoop.instance().start()

一个同事提示为什么这个耗时的东西不能异步的丢给某工具去执行而不阻塞我的请求呢?好吧,我也想到了:celery,正好github有这个东西:tornado-celery

执行下面的程序首先你要安装rabbitmq和celery:

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.gen

import tornado.httpclient

import tcelery, tasks

import time

from tornado.options import define, options

define("port", default=8000, help="run on the given port", type=int)

tcelery.setup_nonblocking_producer()

class SleepHandler(tornado.web.RequestHandler):

@tornado.web.asynchronous

@tornado.gen.coroutine

def get(self):

# tornado.gen.Task的参数是:要执行的函数, 参数

yield tornado.gen.Task(tasks.sleep.apply_async, args=[5])

self.write("when i sleep 5s")

self.finish()

class JustNowHandler(tornado.web.RequestHandler):

def get(self):

self.write("i hope just now see you")

if __name__ == "__main__":

tornado.options.parse_command_line()

app = tornado.web.Application(handlers=[

(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

http_server = tornado.httpserver.HTTPServer(app)

http_server.listen(options.port)

tornado.ioloop.IOLoop.instance().start()

task是celery的任务定义的文件,包含我们说的time.sleep的函数

import time

from celery import Celery

celery = Celery("tasks", broker="amqp://guest:[email protected]:5672")

celery.conf.CELERY_RESULT_BACKEND = "amqp"

@celery.task

def sleep(seconds):

time.sleep(float(seconds))

return seconds

if __name__ == "__main__":

celery.start()

然后启动celelry worker(要不然你的任务怎么执行呢?肯定需要一个消费者取走):

celery -A tasks worker --loglevel=info

但是这里的问题也可能很严重:我们的异步非阻塞依赖于celery,还是这个队列的长度,假如任务很多那么就需要等待,效率很低.有没有一种办法把我的同步阻塞函数变为异步(或者说被tornado的装饰器理解和识别)呢?

#!/bin/env python

import tornado.httpserver

import tornado.ioloop

import tornado.options

import tornado.web

import tornado.httpclient

import tornado.gen

from tornado.concurrent import run_on_executor

# 这个并发库在python3自带在python2需要安装sudo pip install futures

from concurrent.futures import ThreadPoolExecutor

import time

from tornado.options import define, options

define("port", default=8000, help="run on the given port", type=int)

class SleepHandler(tornado.web.RequestHandler):

executor = ThreadPoolExecutor(2)

  #executor 是局部变量  不是全局的

@tornado.web.asynchronous

@tornado.gen.coroutine

def get(self):

# 假如你执行的异步会返回值被继续调用可以这样(只是为了演示),否则直接yield就行

res = yield self.sleep()

self.write("when i sleep %s s" % res)

self.finish()

@run_on_executor

def sleep(self):

time.sleep(5)

return 5

class JustNowHandler(tornado.web.RequestHandler):

def get(self):

self.write("i hope just now see you")

if __name__ == "__main__":

tornado.options.parse_command_line()

app = tornado.web.Application(handlers=[

(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])

http_server = tornado.httpserver.HTTPServer(app)

http_server.listen(options.port)

tornado.ioloop.IOLoop.instance().start()

http://www.qytang.com/cn/list/28/434.htm
http://www.qytang.com/cn/list/28/433.htm
http://www.qytang.com/cn/list/28/431.htm
http://www.qytang.com/cn/list/28/328.htm
http://www.qytang.com/cn/list/28/326.htm
http://www.qytang.com/cn/list/28/429.htm
http://www.qytang.com/cn/list/28/428.htm
http://www.qytang.com/cn/list/28/426.htm
http://www.qytang.com/cn/list/28/425.htm
http://www.qytang.com/cn/list/28/424.htm
http://www.qytang.com/cn/list/28/423.htm

时间: 2024-10-10 19:27:45

tornado异步请求非阻塞-乾颐堂的相关文章

tornado异步请求非阻塞

前言也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了 比如最近发现一个事情:某网 前言 也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良好. 后来发现,打开页面会有很多请求后端数据库的访问,有一个mongodb的数据库业务api的rest服务.但是它的tornado却用错了,一

乾颐堂安德华为数通HCNA真题解析版(第2部分)

HCNA真题解析视频即将上线,敬请关注本博客以及乾颐堂官网书接上文:16 Interface GigabitEthernet0/0/1 Port link‐type trunk Port trunk allow‐pass vlan 2 to 4094 根据如上所示的命令输出,下列描述中正确的是()(多选)A GigabitEthernet0/0/1 不允许 VLAN1 通过B GigabitEthernet0/0/1 允许 VLAN1 通过C 如果要把 GigabitEthernet0/0/1

全网唯一华为无线HCNA真题解析版题库,来自乾颐堂安德

本部分内容来自互联网.通过它,您可以同哦过华为认证HCNA-WLAN无线(H12-311)考试.后续视频讲解会上传至51CTO学院,其他学员可以通过乾颐堂官方咨询或者群645866695咨询解析版是军哥一字一字码出来的,转载请注明出处 QUESTION 1无线网络的初步应用开始于哪段时间()? A. 一次大战期间 B. 二次大战期间 C. 20世纪后期D. 2000年以后 Correct Answer: B Explanation/Reference:2战后才初步发展,战争很多时候是促进科技进步

乾颐堂既有老腊肉也有小鲜肉,欢迎大家来学习,大学生如何学习HCIE,答案来咯

前边给大家分享了工作20余年的刘大哥的经历,下面给大家带来20出头没毕业小伙子的在乾颐堂的学习经历 9月4号开学第一天收到了一份特别的礼物,PASS HCIE 在HCIE的路上要一步一个脚印走过来,我从去年暑假之前加入乾颐堂这个大家庭,与很多在路上的HCIE一样,从对TCP/IP的一无所知,到现在MPLE.BGP.组播全都能够深入掌握,这个和乾颐堂是分不开的. 刚到乾颐堂学习的时候,直接是暑假在光大会展脱产,本来我是学生,其余的时候还要学习别的东西,所以只有暑假有充裕的时间要把握住.2个月的时间

(转)异步与非阻塞之间的区别(看到的最清晰的说明)

Asynchronous I/O, or non-blocking I/O, is a form of input/output processing that permits other processing to continue before the transmission has finished 非阻塞不一定做到异步.非阻塞只是意味着方法调用不阻塞,但是通过事件通知的方式给调用线程一个机会去完成.它的逻辑是"等可以读(写)了告诉你".这意味着工作的完成者仍然是调用者(线程)

乾颐堂安德HCIE面试真题系列20(董XG),一个失败的案例

20180720董XG杭州面试 1.ppp2.割接3.ospf中邻居建立不起来的原因 上面也是我回答问题的顺序. ppp我就按照我之前模拟面试的时候,按照题库里面往下背,这个我之前也复习到了,就在今天火车上,我还看到了,这题挺顺利,答了大概30分钟吧,中途提问过一句,就是chap认证的用户名为空的时候怎么回事和有用户名的时候分别解释下,她不问的话,我也会说的,正好她也问了,这题我感觉满分. 割接,很久之前预习过,近期也没怎么看,近期就准备理论了,就边回忆题库里面的东西边说了自己工作中碰到的机房迁

来看看军哥对HCIEv3.0预测对了多少内容吧!乾颐堂安德HCIEv3.0视频已经在线

2018年6月,我预期华为会升级数通HCIE,故而一步步的改进华为的课程体系,果不其然,华为在2018年8月末发布"预"公告,大约会在2019年1月份升级RS HCIE到3.0,一切尽在掌握之中.乾颐堂安德2018版HCIEv3.0已经开始上传51CTO它的改变按照官方原文是"HCIE-Routing&Switching V3.0的内容包括但不限于:L2及L3层网络技术.IPv4及IPv6网络协议.路由控制技术.MPLS及MPLS L3 ×××技术.组播技术.网络安全

从其他机构转投乾颐堂的同学pass感言

首先能够通过考试要感谢乾颐堂这个平台,感谢两位老师(军哥和老白),还有一起备考的兄弟.我是从其他机构过来的,之前通过了lab,一面挂了之后来了乾颐堂.首先乾颐堂的模拟面试是我通过考试的重要原因,能够真实的模拟考试环境,锻炼自己的临场表现,理清答题的思路,说白了就是考试的彩排.两道题是确定的,lab和项目,只要这两道题答好,时间说够了,理论只要了解一些,通过是没有问题的.我理论偏弱也没怎么准备,总觉的运气好,考的都会,答的都对,能够通过纯属侥幸,希望后面备考的兄弟可以不留死角,认真准备.下面我简单

乾颐堂鹏同学通过HCIE送给后来者的话

HCIE备考分享最先在考CCIE还是HCIE的时候,还是很犹豫的,CCIE至少都要到北京考试,并且我之前也考过CCNP的,感觉还是有些基础的,但是考试的成本会增加,HCIE在成都就可以考,路途等各种成本基本不用,听说面试比较难.综合考虑了一下,最终还是选择了考HCIE(想挑战一下自己).决定好以后,就开始准备考试,笔试很简单,题库刷了几遍就OK了,只要背好了,一般都是高分通过的.接下来就是备考LAB了,LAB的建议大家按照老师的方法先敲熟悉后,实现了盲敲以后(我当时都不用看拓扑就直接敲命令了),