单线程实现并发——协程,gevent模块

一 并发的本质

  1 切换

  2 保存状态

二 协程的概念

  协程,又称微线程,纤程。英文名Coroutine。单线程下实现并发,用户从应用程序级别控制单线程下任务的切换,注意一定是遇到I/O才切。

  协程的特点在于是一个线程执行,那和多线程比,协程有何优势?

  最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。

  第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。

  因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

三 gevent模块

  gevent是一个基于协程的Python网络库。

  需要导入猴子补丁。

  方法:

    g1=gevent.spawn(func,):提交任务。   生成g1,是Greenlet类

    gevent.sleep():睡

    gevent.joinall(可迭代对象):阻塞,知道所有选中的任务执行完毕。

    g1.join()

    g1.value 获取由func函数生成Greenlet类的返回值。

import gevent
from gevent import monkey;monkey.patch_all()
from threading import current_thread
import time
def foo():
    print(‘%s is running ‘ % current_thread().getName())
    time.sleep(1)
    print(‘%s is done ‘%current_thread().getName())
def bar():
    print(‘%s is running ‘ % current_thread().getName())
    time.sleep(2)
    print(‘%s is done ‘ % current_thread().getName())

g1=gevent.spawn(foo)
g2=gevent.spawn(bar)
print(‘g1‘,g1)
print(‘g2‘,g2)

# g1.join()
# g2.join()
gevent.joinall([g1,g2])

  输出:

g2 <Greenlet at 0x26d7aff0898: bar>
DummyThread-1 is running
DummyThread-2 is running
DummyThread-1 is done
DummyThread-2 is done 

原文地址:https://www.cnblogs.com/ExMan/p/10138850.html

时间: 2024-10-29 15:09:18

单线程实现并发——协程,gevent模块的相关文章

协程:gevent模块,遇到i/o自动切换任务 038

协程 : gevent模块,遇到io自动切换任务 from gevent import monkey;monkey.patch_all() # 写在最上面 这样后面的所有阻塞就全部能够识别了 import gevent # 直接导入即可 from threading import current_thread import time def eat(name): print('%seat1'% name) # gevent.sleep(2) time.sleep(2) # 加上monkey就能

网络编程之协程——gevent模块

网络编程之协程--gevent模块 gevent模块 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程. Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度. #用法 g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1,spawn括号内第一个参数是函数名,如e

17、第七周-网络编程 - 协程概念介绍、协程gevent模块并发爬网页

协程,又称微线程,纤程.什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销(注解:"原子操作(atomic operation)是不需要synchr

python 并发编程 协程 gevent模块

一 gevent模块 gevent应用场景: 单线程下,多个任务,io密集型程序 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程. Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度. gevent可以检测io,实现遇到io自动切换另外一个任务 #用法 g1=gevent.spawn(func,1,

线程池+协程+gevent模块

提交任务的两种方式: 同步调用:提交完一个任务之后,就在原地等待,等待任务完完整整地运行完毕拿到结果后,再执行下一行代码,会导致任务是串行执行的 异步调用:提交完一个任务之后,不在原地等待,而是直接执行下一行代码,会导致任务是并发执行的 p.shutdown(wait=True)关闭进程池的入口,并且在原地等待进程池内所有任务运行完毕 异步调用:提交完一个任务之后,不在原地等待,而是直接执行下一行代码,会导致任务是并发执行的,结果:futrue对象会在任务运行完毕后自动传给回调函数 在线程下实现

Python3-gevent模块-单线程下的&quot;并发&quot;-协程

博客转载 http://www.cnblogs.com/alex3714/articles/5248247.html http://www.cnblogs.com/tkqasn/p/5705338.html 代码示例 import greenlet def func1(): print(1) gr2.switch() print(1) gr2.switch() def func2(): print(2) gr3.switch() print(2) gr3.switch() def func3()

网络编程之协程——greenlet模块

网络编程之协程--greenlet模块 greenlet模块 如果我们在单个线程内有20个任务,要想实现在多个任务之间切换,使用yield生成器的方式过于麻烦(需要先得到初始化一次的生成器,然后再调用send...非常麻烦),而使用greenlet模块可以非常简单地实现这20个任务直接的切换 #安装:pip3 install greenlet from greenlet import greenlet def eat(name): print('%s eat 1' %name) g2.switc

爬虫第四章 单线程+多任务异步协程

单线程+多任务异步协程: asyncio 事件循环 loop: 无限循环的对象,事件循环中最终需要将一些特殊的函数注册到该事件循环中 特殊的函数: 被ansyc关键字修饰的函数 协程: 本质上是一个对象,可以把协程对象注册到事件循环中, 任务对象:就是对协程对象进一步的封装. 绑定回调函数(即在执行完特殊函数之后执行这个回调函数):task.add_done_callback(func) - func(task) :task 参数表示的就是绑定的任务对象 - task.result() 返回的就

tcp_server_协程gevent版本

#!/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2020/1/23 1:50 # @Author : liuyan # @File : test5_tcp_server_5协程gevent版本.py # @Software: PyCharm import gevent from gevent import monkey; monkey.patch_all() #使用此方法,会将代码中检查一遍,如有time.sleep()等延时方法,会