Python3 协程相关

  • 什么是协程
  • 协程的优势
  • Python3中的协程
    • 生成器 yield/send

      • yield + send(利用生成器实现协程)
      • 协程的四个状态
      • 协程终止
    • @asyncio.coroutine和yield from
      • asyncio.coroutione
      • yield from
      • 为什么要用yield from
    • async/await关键字

什么是协程

??协程(Coroutine),又称微线程,纤程。通常我们认为线程是轻量级的进程,因此我们也把协程理解为轻量级的线程即微线程。

??协程的作用是在执行函数A时可以随时中断去执行函数B,然后中断函数B继续执行函数A(可以自由切换)。这里的中断,不是函数的调用,而是有点类似CPU的中断。这一整个过程看似像多线程,然而协程只有一个线程执行。

协程的优势

  • 执行效率极高,因为是子程序(函数)切换不是线程切换,由程序自身控制,没有切换线程的开销。所以与多线程相比,线程的数量越多,协程的性能优势越明显。
  • 不需要机制,因为只有一个线程,也不存在同时写变量冲突,在控制共享资源时也不需要加锁,只需要判断状态,因此执行效率高的多。
  • 协程可以处理IO密集型程序的效率问题,但不适合处理CPU密集型程序,如要充分发挥CPU利用率应结合多进程+协程。

Python3中的协程

生成器 yield/send

yield + send(利用生成器实现协程)

例:

def simple_coroutine():
    print('-> start')
    x = yield
    print(x)
    print('-> end')

#主线程
sc = simple_coroutine()
# 可以使用sc.send(None),效果一样
next(sc) #预激
sc.send('go')

执行结果如下:

-> start
go
-> end

抛出StopIteration
  • simple_coroutine()是一个生成器,由next(sc) 预激,启动协程,执行到第一个yield中断
  • send()方法给yield传入参数,继续执行

    协程的四个状态

  • GEN_CREATED:等待开始执行
  • GEN_RUNNING:解释器正在执行
  • GEN_SUSPENED:在yield表达式处暂停
  • GEN_CLOSED:执行结束

    协程终止

  • 协程中未处理的异常会向上冒泡,传给 next 函数或 send 方法的调用方(即触发协程的对象)
  • 终止协程的一种方式:发送某个哨符值,让协程退出。内置的 None 和Ellipsis 等常量经常用作哨符值

@asyncio.coroutine和yield from

asyncio.coroutione

??asyncio是Python3.4版本引入的标准库,直接内置了对异步IO的支持。asyncio的异步操作,需要在coroutine中通过yield from完成。
例:

import asyncio
@asyncio.coroutine
def test(i):
    print('test_1', i)
    r = yield from asyncio.sleep(1)
    print('test_2', i)

loop = asyncio.get_event_loop()
tasks = [test(i) for i in range(1,3)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
  • @asyncio.coroutine把一个generator标记为coroutine类型,然后就把这个coroutine扔到EventLoop中执行。test()会首先打印出test_1
  • 然后yield from语法可以让我们方便地调用另一个generator。由于asyncio.sleep()也是一个coroutine,所以线程不会等待asyncio.sleep(),而是直接中断并执行下一个消息循环。
  • asyncio.sleep()返回时,线程就可以从yield from拿到返回值(此处是None)
  • 然后接着执行下一行语句。把asyncio.sleep(1)看成是一个耗时1秒的IO操作,在此期间主线程并未等待,而是去执行EventLoop中其他可以执行的coroutine了,因此可以实现并发执行

结果如下:

test_1 1
test_1 2
test_2 1
test_2 2

yield from

??当yield from 后面加上一个生成器后,就实现了生成的嵌套。
??实现生成器的嵌套,并不是一定必须要使用yield from,而是使用yield from可以让我们避免让我们自己处理各种料想不到的异常,而让我们专注于业务代码的实现。
??如果自己用yield去实现,那只会加大代码的编写难度,降低开发效率,降低代码的可读性。

  • 调用方:调用委派生成器的客户端(调用方)代码
  • 委托生成器:包含yield from表达式的生成器函数
  • 子生成器:yield from后面加的生成器函数
# 子生成器
def average_gen():
    total = 0
    count = 0
    average = 0
    while True:
        new_num = yield average
        count += 1
        total += new_num
        average = total/count

# 委托生成器
def proxy_gen():
    while True:
        yield from average_gen()

# 调用方
def main():
    calc_average = proxy_gen()
    next(calc_average)# 预激下生成器
    print(calc_average.send(10))
    print(calc_average.send(20))
    print(calc_average.send(30))  

main()

结果如下:

10.0
15.0
20.0

委托生成器的作用:
在调用方与子生成器之间建立一个双向通道。

双向通道就是调用方可以通过send()直接发送消息给子生成器,而子生成器yield的值,也是直接返回给调用方。

为什么要用yield from

??yield from帮我们做了很多的异常处理,而这些如果我们要自己去实现的话,一个是编写代码难度增加,写出来的代码可读性很差,很可能有遗漏,只要哪个异常没考虑到,都有可能导致程序崩溃。

async/await关键字

??为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法async和await,可以让coroutine的代码更简洁易读。

可将上面的案例代码改造如下:

import asyncio
# @asyncio.coroutine
async def test(i):
    print('test_1', i)
    # r = yield from asyncio.sleep(1)
    await asyncio.sleep(1)
    print('test_2', i)

loop = asyncio.get_event_loop()
tasks = [test(i) for i in range(1,3)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

执行结果

test_1 1
test_1 2
test_2 1
test_2 2
  • async 替换 @asyncio.coroutine,加在def之前用于修饰
  • await替换yield from


Python3 协程相关

原文地址:https://www.cnblogs.com/aduner/p/12203626.html

时间: 2024-10-04 18:12:09

Python3 协程相关的相关文章

python3 协程

'''协程无切换消耗实现了并发,并发:并非线程切,而是线程执行的任务的切换,如果直接切换任务,也是并发缺点:不能利用多核协程是重点,实现多并发,封装了很多好模块,后期应用''' 协程基本实现 import time def consumer(): r = '' while True: n = yield r print('[CONSUMER]<<Consuming %s...' %n) time.sleep(1) r = '200 OK' def produce(c): next(c) n =

协程相关

---恢复内容开始--- 思想 主要的思想:如果一个变量自己有某种方法,而你想在不改变调用方式的前提下,希望可以点出它本身不存在的方法,就要想到用 类 封装的思想 , 将这个变量,改变为一个类的对象,在类中增加你需要的方法例如: # lst1= [1,2,3,4]#有append 的功能# lst2= [1,2,3,4]#有append 的功能# lst3= [1,2,3,4]#有append 的功能# lst4= [1,2,3,4]#有append 的功能# l = [lst1,lst2,ls

Python学习经验之谈:关于协程的理解和其相关面试问题

都知道Python非常适合初学者学习来入门编程,昨天有伙伴留言说面试了Python岗位,问及了一个关于协程的问题,想了想还是跟大家出一篇协程相关的文章和在Python面试中可能会问及的相关面试问题.都是根据我自己的Python学习经验来写的,有这方面需求的伙伴可以认真阅读,也欢迎补充不足之处! 一.什么是协程 协程:实现协作式多任务,可以在程序执行内部中断,转而执行其他协程. 比如我们编写子程序(或者说函数),通常是利用“调用”来实现从 A 跳去 B,B 跳去 C,如果想回来调用方,必须等被调用

一、初识asyncio协程

初识asyncio协程 一.基本概念 ? 要想了解学习协程相关知识要先对以下几个概念先行了解: 阻塞 ? 阻塞状态是指程序未得到某所需计算资源时的挂起状态,简单说就是程序在等待某个操作未执行完前无法执行其他操作. 非阻塞 ? 非阻塞状态是指在等待某项操作执行完前可以继续运行其他操作,也就是不会被阻塞. 同步 ? 不同程序单元为了完成某项任务,在执行过程中以某种通信方式保证协调一致,假如有一个售票窗口,你必须等前面的人买完票,轮到你才能买,简言之同步意味着有序. 异步 ? 不同程序单元为了完成某项

协程初探

文章出处:http://blog.csdn.net/lanphaday/archive/2010/03/19/5397038.aspx 协程,又称微线程和纤程等,据说源于 Simula 和 Modula-2 语言(我没有深究,有错请指正),现代编程语言基本上都有支持,比方 Lua.ruby 和最新的 Google Go,当然也还有近期非常让我惊艳的 falcon.协程是用户空间线程,操作系统对其存在一无所知,所以须要用户自己去做调度,用来运行协作式多任务非常合适.其有用协程来做的东西,用线程或进

 PHP_Yield协程从入门到精通

本文和大家分享的主要是PHP中Yield协程相关内容,一起来看看吧,希望对大家学习php有所帮助. 协程 基本概念 "协程"(Coroutine)概念最早由 Melvin Conway 于1958年提出.协程可以理解为纯用户态的线程,其通过协作而不是抢占来进行切换.相对于进程或者线程,协程所有的操作都可以在用户态完成,创建和切换的消耗更低.总的来说,协程为协同任务提供了一种运行时抽象,这种抽象非常适合于协同多任务调度和数据流处理.在现代操作系统和编程语言中,因为用户态线程切换代价比内核

协程Coroutine

协程是一种用户态的轻量级线程. server的发展如下: IO密集型应用: 多进程->多线程->事件驱动->协程 CPU密集型应用:多进程-->多线程 如果说多进程对于多CPU,多线程对应多核CPU,那么事件驱动和协程则是在充分挖掘不断提高性能的单核CPU的潜力. 异步事件驱动模型中,把会导致阻塞的操作转化为一个异步操作,主线程负责发起这个异步操作,并处理这个异步操作的结果.由于所有阻塞的操作都转化为异步操作,理论上主线程的大部分时间都是在处理实际的计算任务,少了多线程的调度时间,

Lua 协程 coroutine

协程是协同程序的简称,顾名思义,就是协同工作的程序.协程拥有自己独立的桟.局部变量和PC计数器,同时又与其他协同程序共享全局变量和其他大部分东西: 协程与线程的主要区别在于,一个多线程程序可以同时运行几个线程(并发执行.抢占),而协同程序却需要彼此协作地运行,即一个多协程程序在任意时刻只能运行一个协程,并且正在执行的协程只会在其显式地要求挂起(suspend)时,它的执行才会暂停(无抢占.无并发). Lua中所有与协程相关的函数都在coroutine(一个table)中: 函数create用于创

进程、线程和协程的理解-自己随笔

1. IO 操作不占用CPU(从硬盘读数据,从网络读数据,从内存读取数据) 计算占用CPU,例如1+1=2的计算就是占用CPU的. python 多线程,不适合CPU密集操作系统的任务,适合IO操作密集型的任务. 2. 进程.线程和协程之间的关系和区别也困扰我一阵子了,最近有一些心得,写一下. 进程拥有自己独立的堆和栈,既不共享堆,亦不共享栈,进程由操作系统调度. 线程拥有自己独立的栈和共享的堆,共享堆,不共享栈,线程亦由操作系统调度(标准线程是的). 协程和线程一样共享堆,不共享栈,协程由程序