非常适合小白的 Asyncio 教程

非常适合小白的 Asyncio 教程

原文：https://segmentfault.com/a/1190000008814676

所谓「异步 IO」，就是你发起一个 IO 操作，却不用等它结束，你可以继续做其他事情，当它结束时，你会得到通知。

Asyncio 是并发（concurrency）的一种方式。对 Python 来说，并发还可以通过线程（threading）和多进程（multiprocessing）来实现。

Asyncio 并不能带来真正的并行（parallelism）。当然，因为 GIL（全局解释器锁）的存在，Python 的多线程也不能带来真正的并行。

可交给 asyncio 执行的任务，称为协程（coroutine）。一个协程可以放弃执行，把机会让给其它协程（即 yield from 或 await）。`

定义协程

协程的定义，需要使用 async def 语句。

async def do_some_work(x): pass

do_some_work 便是一个协程。
准确来说，do_some_work 是一个协程函数，可以通过 asyncio.iscoroutinefunction 来验证：

print(asyncio.iscoroutinefunction(do_some_work)) # True

这个协程什么都没做，我们让它睡眠几秒，以模拟实际的工作量 ：

async def do_some_work(x):
    print("Waiting " + str(x))
    await asyncio.sleep(x)

在解释 await 之前，有必要说明一下协程可以做哪些事。协程可以：

* 等待一个 future 结束
* 等待另一个协程（产生一个结果，或引发一个异常）
* 产生一个结果给正在等它的协程
* 引发一个异常给正在等它的协程

asyncio.sleep 也是一个协程，所以 await asyncio.sleep(x) 就是等待另一个协程。可参见 asyncio.sleep 的文档：

sleep(delay, result=None, *, loop=None)
Coroutine that completes after a given time (in seconds).

运行协程

调用协程函数，协程并不会开始运行，只是返回一个协程对象，可以通过 asyncio.iscoroutine 来验证：

print(asyncio.iscoroutine(do_some_work(3))) # True

此处还会引发一条警告：

async1.py:16: RuntimeWarning: coroutine ‘do_some_work‘ was never awaited
  print(asyncio.iscoroutine(do_some_work(3)))

要让这个协程对象运行的话，有两种方式：

* 在另一个已经运行的协程中用 `await` 等待它
* 通过 `ensure_future` 函数计划它的执行

简单来说，只有 loop 运行了，协程才可能运行。
下面先拿到当前线程缺省的 loop ，然后把协程对象交给 loop.run_until_complete，协程对象随后会在 loop 里得到运行。

loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))

run_until_complete 是一个阻塞（blocking）调用，直到协程运行结束，它才返回。这一点从函数名不难看出。
run_until_complete 的参数是一个 future，但是我们这里传给它的却是协程对象，之所以能这样，是因为它在内部做了检查，通过 ensure_future 函数把协程对象包装（wrap）成了 future。所以，我们可以写得更明显一些：

loop.run_until_complete(asyncio.ensure_future(do_some_work(3)))

完整代码：

import asyncio

async def do_some_work(x):
    print("Waiting " + str(x))
    await asyncio.sleep(x)

loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))

运行结果：

Waiting 3
<三秒钟后程序结束>

回调

假如协程是一个 IO 的读操作，等它读完数据后，我们希望得到通知，以便下一步数据的处理。这一需求可以通过往 future 添加回调来实现。

def done_callback(futu):
    print(‘Done‘)

futu = asyncio.ensure_future(do_some_work(3))
futu.add_done_callback(done_callback)

loop.run_until_complete(futu)

多个协程

实际项目中，往往有多个协程，同时在一个 loop 里运行。为了把多个协程交给 loop，需要借助 asyncio.gather 函数。

loop.run_until_complete(asyncio.gather(do_some_work(1), do_some_work(3)))

或者先把协程存在列表里：

coros = [do_some_work(1), do_some_work(3)]
loop.run_until_complete(asyncio.gather(*coros))

运行结果：

Waiting 3
Waiting 1
<等待三秒钟>
Done

这两个协程是并发运行的，所以等待的时间不是 1 + 3 = 4 秒，而是以耗时较长的那个协程为准。

参考函数 gather 的文档：

gather(*coros_or_futures, loop=None, return_exceptions=False)
Return a future aggregating results from the given coroutines or futures.

发现也可以传 futures 给它：

futus = [asyncio.ensure_future(do_some_work(1)),
             asyncio.ensure_future(do_some_work(3))]

loop.run_until_complete(asyncio.gather(*futus))

gather 起聚合的作用，把多个 futures 包装成单个 future，因为 loop.run_until_complete 只接受单个 future。

run_until_complete 和 run_forever

我们一直通过 run_until_complete 来运行 loop ，等到 future 完成，run_until_complete 也就返回了。

async def do_some_work(x):
    print(‘Waiting ‘ + str(x))
    await asyncio.sleep(x)
    print(‘Done‘)

loop = asyncio.get_event_loop()

coro = do_some_work(3)
loop.run_until_complete(coro)

输出：

Waiting 3
<等待三秒钟>
Done
<程序退出>

现在改用 run_forever：

async def do_some_work(x):
    print(‘Waiting ‘ + str(x))
    await asyncio.sleep(x)
    print(‘Done‘)

loop = asyncio.get_event_loop()

coro = do_some_work(3)
asyncio.ensure_future(coro)

loop.run_forever()

输出：

Waiting 3
<等待三秒钟>
Done
<程序没有退出>

三秒钟过后，future 结束，但是程序并不会退出。run_forever 会一直运行，直到 stop 被调用，但是你不能像下面这样调 stop：

loop.run_forever()
loop.stop()

run_forever 不返回，stop 永远也不会被调用。所以，只能在协程中调 stop：

async def do_some_work(loop, x):
    print(‘Waiting ‘ + str(x))
    await asyncio.sleep(x)
    print(‘Done‘)
    loop.stop()

这样并非没有问题，假如有多个协程在 loop 里运行：

asyncio.ensure_future(do_some_work(loop, 1))
asyncio.ensure_future(do_some_work(loop, 3))

loop.run_forever()

第二个协程没结束，loop 就停止了——被先结束的那个协程给停掉的。
要解决这个问题，可以用 gather 把多个协程合并成一个 future，并添加回调，然后在回调里再去停止 loop。

async def do_some_work(loop, x):
    print(‘Waiting ‘ + str(x))
    await asyncio.sleep(x)
    print(‘Done‘)

def done_callback(loop, futu):
    loop.stop()

loop = asyncio.get_event_loop()

futus = asyncio.gather(do_some_work(loop, 1), do_some_work(loop, 3))
futus.add_done_callback(functools.partial(done_callback, loop))

loop.run_forever()

其实这基本上就是 run_until_complete 的实现了，run_until_complete 在内部也是调用 run_forever。

Close Loop?

以上示例都没有调用 loop.close，好像也没有什么问题。所以到底要不要调 loop.close 呢？
简单来说，loop 只要不关闭，就还可以再运行。：

loop.run_until_complete(do_some_work(loop, 1))
loop.run_until_complete(do_some_work(loop, 3))
loop.close()

但是如果关闭了，就不能再运行了：

loop.run_until_complete(do_some_work(loop, 1))
loop.close()
loop.run_until_complete(do_some_work(loop, 3))  # 此处异常

建议调用 loop.close，以彻底清理 loop 对象防止误用。

gather vs. wait

asyncio.gather 和 asyncio.wait 功能相似。

coros = [do_some_work(loop, 1), do_some_work(loop, 3)]
loop.run_until_complete(asyncio.wait(coros))

具体差别可请参见 StackOverflow 的讨论：Asyncio.gather vs asyncio.wait。

Timer

C++ Boost.Asio 提供了 IO 对象 timer，但是 Python 并没有原生支持 timer，不过可以用 asyncio.sleep 模拟。

async def timer(x, cb):
    futu = asyncio.ensure_future(asyncio.sleep(x))
    futu.add_done_callback(cb)
    await futu

t = timer(3, lambda futu: print(‘Done‘))
loop.run_until_complete(t)

 

原文地址：https://www.cnblogs.com/bigzhan/p/12560496.html

时间： 2024-08-03 22:52:39

非常适合小白的 Asyncio 教程的相关文章

超适合小白的python新手教程

python介绍 这是我们专门为 小白 量身打造的Python新手教程,具有如下特点: 全视频,手把手,零起点,项目实例,基于船新的Python 版本. Python是一种计算机程序设计语言.你可能已经听说过很多种流行的编程语言,比如非常难学的C语言,非常流行的Java语言,适合网页编程的JavaScript语言等等. 那Python是一种什么语言? 首先,我们普及一下编程语言的基础知识.编程语言就是和计算机交流的语言,目的是让计算机完成各项任务,例如打开一个视频,从网页上抓取特定的信息.不同的

Laravel 5 系列入门教程（一）【最适合中国人的 Laravel 教程】

Laravel 5 系列入门教程(一)[最适合中国人的 Laravel 教程] 分享⋅ johnlui⋅ 于 2年前 ⋅ 最后回复由 skys215于 11个月前 ⋅ 17543 阅读 原文发表在我的个人网站:Laravel 5 系列入门教程(一)[最适合中国人的 Laravel 教程] 本教程示例代码见:https://github.com/johnlui/Learn-Laravel-5 大家在任何地方卡住,最快捷的解决方式就是去看我的示例代码. Laravel 5 中文文档: http://

项目实战！爬取5万篇好奇心日报文章，适合小白练手的实战案例！

Python的知识很多,基本的入门就有很多东西要学,还有各种合样的库要学习.很多同学学了一段时间,进展很慢,学了前面忘了后面!要么就是揠苗助长找一些特别难的例子,结果太难了,失去信心,完全没有成就感! 个人建议是学Python应该趣味性结合,如果跟自己平时的工作相关的应用更好,如果没有,找到合适的例子,通俗有趣的例子非常重要.今天我就给大家介绍一个非常简单的爬虫小例子,来综合练习,非常不错! 要点: 练习基本的入门知识 练习Python类的使用 练习爬虫的最简单使用 练习最简单的数据库的使用 0

适合小白的游戏开发学习路线图

做游戏开发要学什么?适合小白的游戏开发学习路线图分享给正在自学,或者是准备自学的你.如果你想日后在这个行业里成为真正的高手,那就真的需要去下一番苦心,不管你大学里数学学得好不好,你挂了多少门,一定要学好3D数学,这是制作3D游戏的基础,当然Unity为你封装好了大量的三维变换,但知其然,更要知其所以然.我知道如果你的数学不是很好,这会很痛苦.但请坚信,这真的很重要,推荐一本入门的书<3D数学基础:图形与游戏开发>,很惭愧我至今也没都看完.再就是图形渲染方面,你要去了解计算机整个将3D物体渲染到

netgear 网件R6250路由 从OpenWrt或者DD-WRT系统恢复到默认系统 适合小白

原文在这个连接,适合R6250.我顺便把步骤详细化,免得下次有小白遇到这个问题,耽误太多的时间. http://www.right.com.cn/forum/thread-155203-1-1.html 1.下载相关的固件 Version 1.0.0.62全名:R6250-V1.0.0.62_1.0.62.chk  这个是R6250 的第一个初始固件可以在官网下载到. 2.telnet或ssh登录R6250 (penWrt或DD-Wrt) 备注: ①初始可以使用telnet登陆 192.168.

新盟教育内部课程大爆料 适合小白的CCNA的内部课程四

制作专门适用于小白学习的内部教程,分享给童鞋们进行学习,有需要的可以联系我,也可以加我的扣扣(二六三八一五七六四八),不图回报,请叫我雷锋. 静态路由协议 一.实验目的 通过此实验,了解静态路由和默认路由的区别所在.  二.实验步骤 rack01#show running-config !  interface Loopback0  ip address1.1.1.1 255.255.255.0  ! interface Serial1/0  ip address192.168.1.1 255.

python适合小白自学吗？

随着互联网的迅速发展,python逐渐成为一门重要的语言,当今时代朝着人工智能方向不断发展,那么python方向的人才也是以后的发展趋势,越来越多的人对python感兴趣,那么python真的适合所有人吗?真的如他们所说简单吗?下面小编说一下python适合哪些人去学习.一.编程新手对于<非常热爱>编程的人员,经过深思熟虑之后,下定决心以后想要从事开发相关工作,但是目前是小白,不知道入门什么编程语言的朋友,python语言是一个不错的选择.二.在校学生对于现在大学生来说,课余时间是非常充足的,

利用hexo和github建立个人博客 适合小白的~

因为我自己用的是window 7系统,所以下面的教程是针对window系统的 首先需要准备的有 Git v1.9.5 下载地址:百度云 Node.js v0.12.5 x64 下载地址: 百度云 安装Git 作用:把本地的hexo提交到github上面去: 一路点击“Next”就好了 在这里选择对应的window选项 安装Node.js Node也是一样简单,也是一路“Next”就好,然后就等待安装完成 接下来就要验证软件是否正确的安装了 在运行里面输入“cmd” 然后输入如图所示的命令,如果结

简单的实现快速排序（适合小白入门）

1 /* 2 此篇博文适用于像我一样的小白: 3 首先,你要大概了了解快排的基本原理: 4 快排的实现有网上很多种,我自认为下面这种相对好理解的: 5 废话不多说,上代码: 6 注:下面的实现对数组元素升序的快速排序方法: 7 8 */ 9 class QuickSort { 10 public static void main(String[] args) { 11 int[] a = {1, 8, 5, 9, 0, 2}; 12 13 int start = 0; 14 int end =