Python 3.5的async和await特性(PEP492翻译)

原因:

1,coroutine容易与正常的generators弄混

2,一个function是否为coroutine由函数体内是否有yield 或者yield from 决定,这不科学。

3,如果在语法上允许yield的地方才能进行异步调用,那诸如with和for语句中都不能执行异步了。

咋解决呢,把coroutine当成一个native的Python语言特性,与generator完全独立。

Native coroutines及其新的语法使得在异步条件下定义context manager(上下文管理器)和iteration protocols(迭代器协议)成为可能(也就是with和for了)。

通过 async with语句可以使得Python程序在进入和退出runtime context(运行时上下文)时,执行异步调用;

通过 async for 语句使得可以在迭代器中执行异步调用。(老外真是的,老是 make it possible).

语法定义

假定你已经知道:

* Python中coroutines的实现。 implementation of coroutines in Python ( PEP 342 and PEP 380 ).

* 一些要被改变的语法来自asyncio框架和"Cofunctions"提议(已经悲剧了)。Motivation for the syntax changes proposed here comes from the asyncio framework ( PEP 3156 ) and the "Cofunctions" proposal ( PEP 3152 , now rejected in favor of this specification).

新定义的coroutine

async def read_data(db):
    pass

native couroutines的关键特性:

* 使用async def定义的函数总是native coroutine,无论其中是否有await表达式。

* async函数中不允许有yield和yield from,将抛出SyntaxErro异常。

* 在内部呢,引入了两个新的code object flags.

-- CO_COROUTINE用于标记native corroutine(也就是通过async def 定义的)

-- CO_ITERABLE_COROUTINE 用于的基于 生成器的coroutine与native coroutines兼容。

所有的coroutine对象都有CO_GENERATOR标准。

* generator返回generator object, coroutines 返回 coroutine object

* 没有被await on的coroutine在gc时会抛出RuntimeWarning 。

Await表达式

await表达式用于获取一个coroutine的执行结果。

async def read_data(db):
    data = await db.fetch(‘SELECT ...‘)
    ...

await,与yield from类似(译注;其实知道的真是不多),将阻塞read_data的执行,直到db.fetch这一awaitable的完成并返回数据。

awaitable(注:主要这个awaitable是名词,不是形容词)可以是:

1, 从一个native coroutine函数返回的native coroutine object.

2, 以types.coroutine 装饰的(decorated) 生成器函数返回的generator-based coroutine object。

3,一个对象,该对象的__await__方法返回一个迭代器。

如果__await__返回的不是iterator,则抛出TypeError。

4,CPython的C API定义 tp_as_async->am_await函数。

如果await出现在async def函数以外,则抛出Syntax Error;

将awaitable对象以外的任何东西传递给await表达式都会抛出TypeError。

。。。。。。。。。

...忽略严格的语法定义部分...

。。。。。。。。

await表达式的优先级高于**,低于切片[]、函数调用()和attribute reference(属性引用,如x.attribute),

Asynchronous Context Managers and "async with"

asynchronous context manager(异步上下文管理器)是能够在enter和exit方法中阻塞(当前coroutine)执行的上下文管理器。又增加了两个魔力函数:__aenter__ 和__aexit__ ,两个函数都必须返回一个awaitable对象。

举个例子:

class AsyncContextManager:
    async def __aenter__(self):
        await log(‘entering context‘)

    async def __aexit__(self, exc_type, exc, tb):
        await log(‘exiting context‘)

新的语法:

提出针对异步上下文管理器的新语法定义:

async with EXPR as VAR:
    BLOCK

在语法上等价于:

mgr = (EXPR)
aexit = type(mgr).__aexit__
aenter = type(mgr).__aenter__(mgr)
exc = True

VAR = await aenter
try:
    BLOCK
except:
    if not await aexit(mgr, *sys.exc_info()):
        raise
else:
    await aexit(mgr, None, None, None)

和通常的with语句一样,可以在一个await with语句中指定多个上下文管理器。

Example

使用异步上下文管理器可以很容易的实现用于数据库事务管理器的coroutine.

With asynchronous context managers it is easy to implement proper database transaction managers for coroutines:

async def commit(session, data):
    ...

    async with session.transaction():
        ...
        await session.update(data)
        ...

需要加锁的代码变得更加清晰:Code that needs locking also looks lighter:

async with lock:
    ...

instead of:

with (yield from lock):
    ...

异步迭代器和"async for"

asynchronous iterable能够在其iter实现中调用异步代码,并且能够在其next方法中调用异步代码。

* 必须实现__aiter__方法,该方法返回一个awaitable,并且该awaitable的结果必须 是一个asynchronous iterator object。An object must implement an __aiter__ method returning an awaitable resulting in an asynchronous iterator object .

* asynchronous iterator object必须实现 __anext__ 成员函数,该成员函数返回 awaitable对象 ;

* 为停止迭代,__anext__必须抛出StopAsyncIteration 异常。

举个例子:

class AsyncIterable:
    async def __aiter__(self):
        return self

    async def __anext__(self):
        data = await self.fetch_data()
        if data:
            return data
        else:
            raise StopAsyncIteration

    async def fetch_data(self):
        ...

新语法

A new statement for iterating through asynchronous iterators is proposed:

async for TARGET in ITER:
    BLOCK
else:
    BLOCK2

等价于:

iter = (ITER)
iter = await type(iter).__aiter__(iter)
running = True
while running:
    try:
        TARGET = await type(iter).__anext__(iter)
    except StopAsyncIteration:
        running = False
    else:
        BLOCK
else:
    BLOCK2

如果用于async for的迭代器没有__aiter__ 成员函数,将抛出TypeError;

如果在async def函数以外使用async for将抛出SyntaxError错误。

如同通常的 for语句,async for也有可选的else子句。

时间: 2024-08-26 10:06:10

Python 3.5的async和await特性(PEP492翻译)的相关文章

python异步IO-asyncio、async和await

参考链接: asyncio:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090954004980bd351f2cd4cc18c9e6c06d855c498000 async与await:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00144

【转】【C#】C# 5.0 新特性——Async和Await使异步编程更简单

一.引言 在之前的C#基础知识系列文章中只介绍了从C#1.0到C#4.0中主要的特性,然而.NET 4.5 的推出,对于C#又有了新特性的增加--就是C#5.0中async和await两个关键字,这两个关键字简化了异步编程,之所以简化了,还是因为编译器给我们做了更多的工作,下面就具体看看编译器到底在背后帮我们做了哪些复杂的工作的. 二.同步代码存在的问题 对于同步的代码,大家肯定都不陌生,因为我们平常写的代码大部分都是同步的,然而同步代码却存在一个很严重的问题,例如我们向一个Web服务器发出一个

.NET4.5新特性async和await修饰符实现异步编程

开篇 每一个版本的.net都会引入一些新的特性,这些特性方便开发人员能够快速实现一些功能.虽然.net版本一直在更新,但是新版本对旧版本的程序都是兼容的,在这一点上微软做的还是非常好的.每次学一个新内容,第一次接触的方法在脑海里占的位置还是比较重要的,从刚开始接触.net的多线程编程是使用Thread类,然后后面写的程序只要用到异步或者多线程就马上会想到用Thread,虽然知道委托的异步调用也能够实现,但是脑海里面的排在前面还是Thread类,在那个时候不知道他们之间的区别和优劣,也就不懂得如何

python学习笔记 async and await

用asyncio提供的@asyncio.coroutine可以把一个generator标记为coroutine类型,然后在coroutine内部用yield from调用另一个coroutine实现异步操作. 为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法async和await,可以让coroutine的代码更简洁易读. 请注意,async和await是针对coroutine的新语法,要使用新的语法,只需要做两步简单的替换: 把@asyncio.coroutine替换为a

【转】以Python为例的Async / Await的编程基础

转, 原文:https://www.cnblogs.com/middleware/p/11996731.html ----------------------------------- 来源:Redislabs 作者:Loris Cro 翻译:Kevin (公众号:中间件小哥) 近年来,许多编程语言都在努力改进它们的并发原语.Go 语言有 goroutines,Ruby 有 fibers,当然,还有 Node.js 帮助普及的 async/await,这是当今使用最为广泛的并发操作类型.在本文中

对python async与await的理解

async/await关键字是出现在python3.4以后.网上已经有很多文章对async/await这两个关键字都有讲解,包括如何由python2的yield from发展到async/await这两个关键字,以及一些代码实现都有.但是对于像我这样初次接触的人来说,光看代码分析也不一定能理解,我也是在度娘上搜索很多相关的网站,当中也有官网,都没有发现能让我一眼看懂在什么地方可以用await,什么情况用await的文章.经过自己的重新思考,总算对async.await有一些初步的了解,所以想把自

C# async 和 await

.NET 中的 async/await 异步编程 2015/04/08 · IT技术 · .Net, 异步编程 分享到:3 python正则表达式 React入门 走进大数据之storm流式计算基础 Shell典型应用之系统信息及运行状态获取 原文出处: Teroy 的博客   欢迎分享原创到伯乐头条 前言 最近在学习Web Api框架的时候接触到了async/await,这个特性是.NET 4.5引入的,由于之前对于异步编程不是很了解,所以花费了一些时间学习一下相关的知识,并整理成这篇博客,如

封装WebService的APM为Async、Await模式利于Asp.Net页面调用

Wcf针对Async.Await指令直接可以返回Task<T>结果,但是老旧的系统中还是会有很多是在用Soap的Webservice.直接在Asp.Net页面调用APM方法确实比较麻烦,其实可以直接用TaskFactory封装APM模式为.Net4.5的async await模式,便于页面调用. 下面上实现代码,不多废话,注意注释: using System; using System.Collections.Generic; using System.Linq; using System.T

[.NET 4.5] ADO.NET / ASP.NET 使用 Async 和 Await 异步 存取数据库

此为文章备份,原文出处(我的网站)  [.NET 4.5] ADO.NET / ASP.NET 使用 Async 和 Await 异步 存取数据库 http://www.dotblogs.com.tw/mis2000lab/archive/2014/05/08/ado.net4.5_async_await_20140508.aspx 以前的ADO.NET也能作  "异步"(Async,大陆说法:异步),可以参考 KKBruce 2009/11月的文章: SQLCOMMAND的异步行程