一、初识asyncio协程

初识asyncio协程

一、基本概念

? 要想了解学习协程相关知识要先对以下几个概念先行了解:

  • 阻塞

    ? 阻塞状态是指程序未得到某所需计算资源时的挂起状态,简单说就是程序在等待某个操作未执行完前无法执行其他操作。

  • 非阻塞

    ? 非阻塞状态是指在等待某项操作执行完前可以继续运行其他操作,也就是不会被阻塞。

  • 同步

    ? 不同程序单元为了完成某项任务,在执行过程中以某种通信方式保证协调一致,假如有一个售票窗口,你必须等前面的人买完票,轮到你才能买,简言之同步意味着有序。

  • 异步

    ? 不同程序单元为了完成某项任务,在执行过程中无需进行通信也能完成任务,例如爬虫,只要抓取目标url即可,无需关心其它抓取目标,简言之异步意味着无序。

  • 并发

    ? 简单说就是操作系统在处理多个任务时快速切换,例如你在看电视时来电话了,此时你选择关闭电视,接完电话再打开看,这样的过程就是并发;

  • 并行

    ? 简单说就是操作系统同时处理多个任务,例如你在看电视时来电话了,此时你选择边看电视边接电话,这样的过程就是并行。

  • 协程

    ? 协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态,即所有局部状态的一个特定组合,每次过程重入时,就相当于进入上一次调用的状态。

二、asyncio 异步I/O

? asyncio是用来编写并发代码的库,被用作多个提供高性能异步框架的基础,往往是构建I/O密集型和高层级结构化网络代码的最佳选择。

? 在了解asyncio的使用方法前,首先有必要先介绍一下,这几个贯穿始终的概念:

  • event_loop事件循环:程序开启一个无限的事件循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
  • coroutine协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。
  • task任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态。
  • future对象:代表将来执行或没有执行的任务的结果,与task没有本质上的区别。
  • async/await关键字:python3.5 用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口。

三、定义一个协程

? 干看概念总归是难以理解并记住的,下面动手来实现一个协程

from collection.abc import Coroutine

async def a(name):
    print('hello',name)

if __name__ == '__main__':
    test = a('world')   # 输出 hello world
    print(isinstance(test,Coroutine))  # 输出 True

通过以上的实例我们就完成了一个最简单的协程,可以发现其与普通函数不同的仅仅是在函数名前加了async

四、协程的工作流程

一个完整的协程工作流程如下:

  • 定义/创建一个协程对象
  • 将协程转为task任务
  • 定义事件循环容器
  • 将task任务放到事件循环容器触发

参照下面示例可以完整了解这个流程:

import asyncio

async def a(name):  # 定义一个协程
    print('hello',name)

if __name__ == "__main__":
    coroutine = a('world')  # 第一步,定义一个协程对象
    task = asyncio.ensure_future(coroutine)  # 第二步,将协程转换成task任务
    loop = asyncio.get_event_loop()  # 第三步,定义一个事件循环容器
    loop.run_until_complete(task)  # 第四步,将task任务放到事件循环容器

五、阻塞和await

? 在程序运行过程中遇到耗时的操作时会挂起该协程,转而执行别的协程,当挂起的协程运行完毕时再从别的协程切换回去,不等当前这个协程运没运行完毕。举个例子:假如有协程A和协程B,当协程A遇到阻塞耗时的操作时便转向运行协程B,当协程A的耗时操作结束再从协程B切换回去,不管协程B有没有运行完毕。

? 由前面asyncio的概念可以知道,使用await可以挂起一个协程。

import asyncio

async def a(name):
    await asyncio.sleep(3)  # 模拟耗时的操作,不用time.sleep是因为time模块不支持异步
    print('hello',name)

if __name__ == "__main__":
    coroutine = a('world')
    loop = asyncio.get_event_loop()
    loop.run_until_complete(coroutine)

补充说明await后面的对象必须的格式:

  • 原生协程(coroutine)对象
  • 一个由types.coroutine()修饰的生成器
  • 一个包含_await方法的对象返回的一个迭代器
    简言之就是协程,任务,Future三种

总结:至此我们已经初步了解了什么是异步,什么是asyncio,以及协程的工作流程,并进行了实践。

原文地址:https://www.cnblogs.com/FuckSpider/p/11555970.html

时间: 2024-09-30 10:29:25

一、初识asyncio协程的相关文章

python asyncio 协程使用 (一)

由于脚本需要在完成事件处理后N秒检查事件处理结果,当执行失败时再执行另一个事件处理. 想要最小化完成这个功能.同时在第一时间就将执行完毕的结果反馈给接口. 因此想到使用协程. 使用之前先翻阅了一下现有的文档.以及参考了其他人的代码. 先改写成如下的用例: 1 import asyncio 2 3 async def do_some_work(x): 4 try: 5 return "success" 6 finally: 7 print('it can test') 8 await a

Swoole协程与传统fpm同步模式比较

如果说数组是 PHP 的精髓,数组玩得不6的,根本不能算是会用PHP.那协程对于 Swoole 也是同理,不理解协程去用 Swoole,那就是在瞎用. 首先,Swoole 只能运行在命令行(Cli)模式下,所以我们开发调试都是使用命令行,而不是 php-fpm/apache 等. 在 Swoole 中,我们可以使用`\Swoole\Coroutine::create()`创建协程,或者你也可以使用简写`go()`. 初识 Swoole 协程 go(function(){ go(function(

Python黑魔法 --- 异步IO( asyncio) 协程

https://www.jianshu.com/p/b5e347b3a17c python asyncio 网络模型有很多中,为了实现高并发也有很多方案,多线程,多进程.无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态.使用协程可以实现高效的并发任务.Python的在3.4中引入了协程的概念,可是这个还是以生成器对象为基础,3.5则确定了协程的语法.下面将简单介绍asyncio的使用.实现协程的不仅仅是asyncio,tornado和g

python协程--asyncio模块(基础并发测试)

在高并发的场景下,python提供了一个多线程的模块threading,但似乎这个模块并不近人如意,原因在于cpython本身的全局解析锁(GIL)问题,在一段时间片内实际上的执行是单线程的.同时还存在着资源争夺的问题.python3.4之后引入了基于生成器对象的协程概念.也就是asyncio模块.除了asyncio模块,python在高并发这一问题还提出了另外一些解决方案,例如tornado和gevent都实现了类似的功能.由此,在方案选择上提供了更多的可能性.以下是threading模块和a

Python异步IO之协程(二):使用asyncio的不同方法实现协程

引言:在上一章中我们介绍了从yield from的来源到async的使用,并在最后以asyncio.wait()方法实现协程,下面我们通过不同控制结构来实现协程,让我们一起来看看他们的不同作用吧- 在多个协程中的线性控制流很容易通过内置的关键词await来管理.使用asyncio模块中的方法可以实现更多复杂的结构,它可以并发地完成多个协程. 一.asyncio.wait() 你可以将一个操作分成多个部分并分开执行,而wait(tasks)可以被用于中断任务集合(tasks)中的某个被事件循环轮询

多任务异步协程,asyncio及aiohttp

要实现异步协程,需要满足几个条件: 1,创建协程对象,且协程内部操作需要支持异步. 2,创建任务对象,如需为协程执行结果进行进一步处理,则需要为任务对象绑定回调函数. 3,创建事件循环,并将任务启动. 1 import asyncio 2 import requests 3 from lxml import etree 4 import aiohttp 5 import os 6 7 headers = { 8 9 'User-Agent': 'Mozilla/5.0 (Windows NT 1

用yield实现协程 和asyncio模块

用yield实现协程 #基于yield实现异步 import time def consumer(): '''任务1:接收数据,处理数据''' while True: x=yield def producer(): '''任务2:生产数据''' g=consumer() next(g) for i in range(10000000): g.send(i) producer() 使用yield from实现的协程 import datetime import heapq # 堆模块 import

python asyncio 获取协程返回值和使用callback

Reference from: https://www.cnblogs.com/callyblog/p/11216961.html 1. 获取协程返回值,实质就是future中的task import asyncioimport timeasync def get_html(url): print("start get url") await asyncio.sleep(2) return "bobby" def callback(url, future): pri

11.python并发入门(part12 初识协程)

一.协程的简介. 协程,又被称为微线程,虽然是单进程,单线程,但是在某种情况下,在python中的协程执行效率会优于多线程. 这是因为协程之间的切换和线程的切换是完全不一样的!协程的切换是由程序自身控制的(程序的开发者使用yield去进行控制,协程和协程之间的切换是可控制的,想什么时候切换就什么时候切换). 当使用多线程时,开的线程越多,协程的优势就越明显. 协程的另一个优点,就是无需锁机制,因为协程只有一个进程,和线程,不存在多线程或者多进程之间访问公共资源的冲突,所以说,在协程中无需加锁,如