使用gevent提高IO繁忙型wsgi服务的并发量(转)

add by zhj:

个人认为gevent还是更牛逼一些,当然,这只是我简单的分析,没有试验过。对比分析如下:
使用Tornado,启动一个进程,N个线程
使用Gevent,启动一个进程,N个协程
CPU除了执行用户代码外,就是调用调用程序进行线程/协程切换。而协程切换要比线程切换的开销小,速度快,所以Gevent的并发性能应该更好。

原文:https://co-ding.com/?p=356#comment-6036

我的一个线上web服务在生产中遇到一个性能问题:当初为了方便选择了wsgi(众所周知wsgi协议,不像tornado之类的的框架可以使用异步IO),

而服务本身有大量IO(倒并不是带宽很大,只是会经常阻塞),因此一个业务完成可能需要很长时间几秒甚至十几秒。

我使用uwsgi这样启动:

uwsgi --harakiri 25 --harakiri-verbose --http :9090 -M  --processes 12 --threads 2 --wsgi-file wsgi.py

也就是说同时并发量为 12*2=24,这是在以后服务量增长之后是完全不能接受的。

因此,我开始考虑增加线程数,使用siege测试发现线程数过多的时候,由于线程上下文切换导致效率很低,本来5秒钟的业务,最后平均7s才能完成,

这其中有2秒钟用在了线程切换上面

siege -r 2 -c 50  "http://127.0.0.1:9090/api POST <./test.post"

于是考虑使用异步框架,tornado,gevent之类的。

我首先看了下tornado,tornado本身提供了很多异步的库,包括httpclient(Asynchronous HTTP
client)。因此我的程序要想在tornado上面跑并

发挥异步的作用,必须修改大量代码,将所有的IO操作更换成tornado提供的异步函数。这本身是不可接受的,不如直接增加进程/线程来的方便。

接下来我看了下gevent,gevent是使用greenlet协程Coroutine来实现异步网络框架,而且它提供了一个异常方便了monkey模块,可以在不修改原来

的使用python标准库函数的程序的情况下,将程序转换成可以使用gevent框架的异步程序。

即:

from gevent import monkey
# patches stdlib (including socket and ssl modules) to cooperate with other greenlets
monkey.patch_all()

gevent虽然也自带一个wsgi server,但是毕竟不是专业的web服务器,我们还是要使用uwsgi的。然后我发现uwsgi对gevent的支持还是很好的,

直接使用下面的命令启动,甚至不需要改动一行代码。(add by zhj: 在uwsgi中如果使用了gevent参数,就不能用thread参数了,不过,貌似仍可以在进程中创建线程)

uwsgi --gevent 100 --gevent-monkey-patch --http :9090 -M  --processes 4 --wsgi-file wsgi.py

--gevent参数后面的100, 制定了最大spawn 100个协程,这样我们的理论并发数可以达到 100*4。

使用了参数 --gevent-monkey-patch 让我们连最后需要修改代码的地方都没有了:它将自动调用monkey.patch_all()打补丁。

这样,我们就一句代码都没有修改,就使程序转换为异步的程序,大大提高并发数。与提高线程数相比,大大减少了线程切换的开销(协程之间切换的代价很低)。

时间: 2024-12-29 00:36:25

使用gevent提高IO繁忙型wsgi服务的并发量(转)的相关文章

如何提高Web服务端并发效率的异步编程技术

作为一名web工程师都希望自己做的web应用能被越来越多的人使用,如果我们所做的web应用随着用户的增多而宕机了,那么越来越多的人就会变得越来越少了,为了让我们的web应用能有更多人使用,我们就得提升web应用服务端的并发能力.那么我们如何做到这点了,根据现有的并发技术我们会有如下选择: 第一个做法:为每个客户端发送给服务端的请求都开启一个线程,等请求处理完毕后该线程就被销毁掉,这种做法很直观,但是在现代的web服务器里这种做法已经很少使用了,原因是新建一个线程,销毁一个线程的开销(开销是指占用

变通实现微服务的per request以提高IO效率(二)

*:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0; } /* HEAD

变通实现微服务的per request以提高IO效率

*:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0; } /* HEAD

进程池与线程池、协程、协程实现TCP服务端并发、IO模型

进程池与线程池.协程.协程实现TCP服务端并发.IO模型 一.进程池与线程池 1.线程池 ''' 开进程开线程都需要消耗资源,只不过两者比较的情况下线程消耗的资源比较少 在计算机能够承受范围内最大限度的利用计算机 什么是池? 在保证计算机硬件安全的情况下最大限度的利用计算机 池其实是降低了程序的运行效率,但是保证了计算机硬件的安全 (硬件的发展跟不上软件的速度) ''' from concurrent.futures import ThreadPoolExecutor import time p

使用http://start.spring.io/构建maven微服务项目的几个坑及eclipse构建spring boot微服务项目

一,使用http://start.spring.io/构建maven微服务项目 本来嘛,直接构建的项目导入时没有任何问题的导入就可以运行,可是最近构建好项目,然后导入,种种报错 1.导入之后POM报错 将parent版本更改下,将2.1.6改为2.0.1就可以消除错误 2.启动报错,直接退出 pom中导入此依赖,问题就解决了 <dependency> <groupId>org.springframework.boot</groupId> <artifactId&g

python 协程, 异步IO Select 和 selectors 模块 多并发演示

主要内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 selectors 模块 多并发演示 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开

TCP协议下的服务端并发,GIL全局解释器锁,死锁,信号量,event事件,线程q

TCP协议下的服务端并发,GIL全局解释器锁,死锁,信号量,event事件,线程q 一.TCP协议下的服务端并发 ''' 将不同的功能尽量拆分成不同的函数,拆分出来的功能可以被多个地方使用 TCP服务端实现并发 1.将连接循环和通信循环拆分成不同的函数 2.将通信循环做成多线程 ''' # 服务端 import socket from threading import Thread ''' 服务端 要有固定的IP和PORT 24小时不间断提供服务 能够支持并发 ''' server = sock

Springcloud 微服务 高并发(实战1):第1版秒杀

疯狂创客圈 Java 高并发[ 亿级流量聊天室实战]实战系列之15 [博客园总入口 ] 前言 疯狂创客圈(笔者尼恩创建的高并发研习社群)秒杀系列文章,将为大家介绍三个版本的高并发秒杀: 版本1 :springcloud + zookeeper 秒杀 版本2 :springcloud + redis 分布式锁秒杀 版本3 :springcloud + Nginx + Lua 高性能版本秒杀 这是第一个版本实现,文章比较长,大家可以挑选感兴趣的部分,选择性阅读. 1 为何要以秒杀做为高并发实战案例?

14套java精品高级架构课,Dubbo分布式Restful 服务,并发原理编程,SpringBoot,SpringCloud,RocketMQ中间件视频教程

14套java精品高级架构课,缓存架构,深入Jvm虚拟机,全文检索Elasticsearch,Dubbo分布式Restful 服务,并发原理编程,SpringBoot,SpringCloud,RocketMQ中间件,Mysql分布式集群,服务架构,运 维架构视频教程 14套精品课程介绍: 1.14套精 品是最新整理的课程,都是当下最火的技术,最火的课程,也是全网课程的精品: 2.14套资 源包含:全套完整高清视频.完整源码.配套文档: 3.知识也 是需要投资的,有投入才会有产出(保证投入产出比是