python协程初步--gevent库使用以及解释什么是猴子补丁monkey_patch

协程工作的特点是遇到阻塞或耗时的任务时就切换,协程的生存依赖于线程,线程依赖于协程

  • 一个似乎有点问题的例子
import gevent,time

def kisscpc(num):
    for i in range(num):
        print ("吻了第%s下陈培昌"%(i+1),gevent.getcurrent())
    time.sleep(1)

def kisscj(num):
    for i in range(num):
        print ("吻了第%s下程劲"%(i+1),gevent.getcurrent())
    time.sleep(1)

def kissxxd(num):
    for i in range(num):
        print ("吻了第%s下徐晓冬"%(i+1),gevent.getcurrent())
    time.sleep(1)

g1 = gevent.spawn(kisscj,3)
g2 = gevent.spawn(kisscpc,2)
g3 = gevent.spawn(kissxxd,5)
g1.join()
g2.join()
g3.join()

输出结果:

吻了第1下程劲 <Greenlet at 0x7fe77eed7648: kisscj(3)>
吻了第2下程劲 <Greenlet at 0x7fe77eed7648: kisscj(3)>
吻了第3下程劲 <Greenlet at 0x7fe77eed7648: kisscj(3)>
吻了第1下陈培昌 <Greenlet at 0x7fe77eed7a48: kisscpc(2)>
吻了第2下陈培昌 <Greenlet at 0x7fe77eed7a48: kisscpc(2)>
吻了第1下徐晓冬 <Greenlet at 0x7fe77eed7b48: kissxxd(5)>
吻了第2下徐晓冬 <Greenlet at 0x7fe77eed7b48: kissxxd(5)>
吻了第3下徐晓冬 <Greenlet at 0x7fe77eed7b48: kissxxd(5)>
吻了第4下徐晓冬 <Greenlet at 0x7fe77eed7b48: kissxxd(5)>
吻了第5下徐晓冬 <Greenlet at 0x7fe77eed7b48: kissxxd(5)>

貌似这样的结果并未能达到我们所期待的并发效果,任务仍旧是按部就班的执行。答案在于使用gevent时,相关的一切都要更换成gevent的

  • 耗时,阻塞部分换成gevent库的实现
import gevent,time

def kisscpc(num):
    for i in range(num):
        print ("吻了第%s下陈培昌"%(i+1),gevent.getcurrent())
        #time.sleep(1)
        gevent.sleep(1)
def kisscj(num):
    for i in range(num):
        print ("吻了第%s下程劲"%(i+1),gevent.getcurrent())
        #time.sleep(1)
        gevent.sleep(1)
def kissxxd(num):
    for i in range(num):
        print ("吻了第%s下徐晓冬"%(i+1),gevent.getcurrent())
       #time.sleep(1)
        gevent.sleep(1)
g1 = gevent.spawn(kisscj,3)
g2 = gevent.spawn(kisscpc,2)
g3 = gevent.spawn(kissxxd,5)
g1.join()
g2.join()
g3.join()

输出结果:

吻了第1下程劲 <Greenlet at 0x7f2af804e648: kisscj(3)>
吻了第1下陈培昌 <Greenlet at 0x7f2af804ea48: kisscpc(2)>
吻了第1下徐晓冬 <Greenlet at 0x7f2af804eb48: kissxxd(5)>
吻了第2下程劲 <Greenlet at 0x7f2af804e648: kisscj(3)>
吻了第2下陈培昌 <Greenlet at 0x7f2af804ea48: kisscpc(2)>
吻了第2下徐晓冬 <Greenlet at 0x7f2af804eb48: kissxxd(5)>
吻了第3下程劲 <Greenlet at 0x7f2af804e648: kisscj(3)>
吻了第3下徐晓冬 <Greenlet at 0x7f2af804eb48: kissxxd(5)>
吻了第4下徐晓冬 <Greenlet at 0x7f2af804eb48: kissxxd(5)>
吻了第5下徐晓冬 <Greenlet at 0x7f2af804eb48: kissxxd(5)>

哟比~这才是我们期盼的!

但是,对于一些早期的代码,每个任务的耗时部分仍有可能采用了常规的代码写法(而不是gevent.方法名),这就意味着,我们需要改动代码的绝大多数部分

这时,猴子补丁就派上用场了

import gevent,time
from gevent import monkey
monkey.patch_all()
def kisscpc(num):
    for i in range(num):
        print ("吻了第%s下陈培昌"%(i+1),gevent.getcurrent())
        time.sleep(1)
        #gevent.sleep(1)
def kisscj(num):
    for i in range(num):
        print ("吻了第%s下程劲"%(i+1),gevent.getcurrent())
        time.sleep(1)
        #gevent.sleep(1)
def kissxxd(num):
    for i in range(num):
        print ("吻了第%s下徐晓冬"%(i+1),gevent.getcurrent())
        time.sleep(1)
        #gevent.sleep(1)
g1 = gevent.spawn(kisscj,3)
g2 = gevent.spawn(kisscpc,2)
g3 = gevent.spawn(kissxxd,5)
g1.join()
g2.join()
g3.join()

输出结果:

吻了第1下程劲 <Greenlet at 0x7f97e4981948: kisscj(3)>
吻了第1下陈培昌 <Greenlet at 0x7f97e4981a48: kisscpc(2)>
吻了第1下徐晓冬 <Greenlet at 0x7f97e4981b48: kissxxd(5)>
吻了第2下程劲 <Greenlet at 0x7f97e4981948: kisscj(3)>
吻了第2下陈培昌 <Greenlet at 0x7f97e4981a48: kisscpc(2)>
吻了第2下徐晓冬 <Greenlet at 0x7f97e4981b48: kissxxd(5)>
吻了第3下程劲 <Greenlet at 0x7f97e4981948: kisscj(3)>
吻了第3下徐晓冬 <Greenlet at 0x7f97e4981b48: kissxxd(5)>
吻了第4下徐晓冬 <Greenlet at 0x7f97e4981b48: kissxxd(5)>
吻了第5下徐晓冬 <Greenlet at 0x7f97e4981b48: kissxxd(5)>

我们看到仅仅用了monkey.patch_all()就达到了期待的效果,而其他方面几乎没什么改变

原文地址:https://www.cnblogs.com/saintdingspage/p/11622740.html

时间: 2024-11-07 06:08:04

python协程初步--gevent库使用以及解释什么是猴子补丁monkey_patch的相关文章

Python 协程(gevent)

协程,又叫微线程,协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 方便切换控制流,简化编程模型 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问

python协程初步---一个迭代器的实现

一般认为迭代器就是实现了两个方法__iter__和__next__ 先创建这样一个类 from collections import Iterable from collections import Iterator class classiterable(object): def __iter__(self): pass def __next__(self): pass class mycoach(object): def __init__(self): pass def addname(se

python协程初步---一个生成器的实现

和列表那种一下占据长度为n的内存空间不同的是,生成器在调用的过程中逐步占据内存空间,因此有着很大的优势 一个斐波纳契数列的例子 def myfibbo(num): a,b=0,1 count=0 while count<num: a,b=a+b,a print(b) count+=1 运行 :myfibbo(10) 一个生成器版本的例子 def myfibbo(num): a,b=0,1 count=0 while count<num: a,b=a+b,a ret = yield b#代码执行

单线程实现并发——协程,gevent模块

一 并发的本质 1 切换 2 保存状态 二 协程的概念 协程,又称微线程,纤程.英文名Coroutine.单线程下实现并发,用户从应用程序级别控制单线程下任务的切换,注意一定是遇到I/O才切. 协程的特点在于是一个线程执行,那和多线程比,协程有何优势? 最大的优势就是协程极高的执行效率.因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显. 第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中

Python核心技术与实战——十五|Python协程

我们在上一章将生成器的时候最后写了,在Python2中生成器还扮演了一个重要的角色——实现Python的协程.那什么是协程呢? 协程 协程是实现并发编程的一种方式.提到并发,肯很多人都会想到多线程/多进程模型,这就是解决并发问题的经典模型之一.在最初的互联网世界中,多线程/多进程就在服务器并发中起到举足轻重的作用. 但是随着互联网的发展,慢慢很多场合都会遇到C10K瓶颈,也就是同时连接到服务器的客户达到1W,于是,很多代码就跑崩溃,因为进程的上下文切换占用了大量的资源,线程也顶不住如此巨大的压力

python协程:yield的使用

本文和大家分享的主要是python协程yield相关内容,一起来看看吧,希望对大家学习python有所帮助. 协程定义 协程的底层架构是在pep342 中定义,并在python2.5 实现的. python2.5 中,yield关键字可以在表达式中使用,而且生成器API中增加了 .send(value)方法.生成器可以使用.send(...)方法发送数据,发送的数据会成为生成器函数中yield表达式的值. 协程是指一个过程,这个过程与调用方协作,产出有调用方提供的值.因此,生成器可以作为协程使用

Python 协程总结

Python 协程总结 理解 协程,又称为微线程,看上去像是子程序,但是它和子程序又不太一样,它在执行的过程中,可以在中断当前的子程序后去执行别的子程序,再返回来执行之前的子程序,但是它的相关信息还是之前的. 优点: 极高的执行效率,因为子程序切换而不是线程切换,没有了线程切换的开销: 不需要多线程的锁机制,因为只有一个线程在执行: 如果要充分利用CPU多核,可以通过使用多进程+协程的方式 使用 打开asyncio的源代码,可以发现asyncio中的需要用到的文件如下: 下面的则是接下来要总结的

从python协程理解tornado异步

博客原文地址:http://www.v2steve.com/py_tornado_async.html 刚接触tornado时候最疑惑的问题就是tornado.gen.coroutine是怎么实现的.如何在代码中用同步格式实现异步效果.看了几次源码发现其实就是python协程的一个具体应用.下面从生成器开始,说说tornado的异步. python协程 python利用yield关键字实现生成器,yield就像生化危机里的T病毒,被yield感染的函数都不仅仅是函数,而是一个函数生成器.函数生成

00.用 yield 实现 Python 协程

来源:Python与数据分析 链接: https://mp.weixin.qq.com/s/GrU6C-x4K0WBNPYNJBCrMw 什么是协程 引用官方的说法: 协程是一种用户态的轻量级线程,协程的调度完全由用户控制.协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快. 与线程相比,协程更轻量.一个Python线程大概占用8M内