第十七章-异步IO

异步IO的出现源自于CPU速度与IO速度完全不匹配

一般的可以采用多线程或者多进程的方式来解决IO等待的问题

同样异步IO也可以解决同步IO所带来的问题

常见的异步IO的实现方式是使用一个消息循环, 主线程不断的读取这个消息循环以便确定IO操作是否完成

1 协程

  协程(微线程, 纤程)

  一般子程序调用是一个入口一个出口, 调用的顺序也是明确的

  但是协程不同, 执行过程中子程序内部中断, 就会转而执行别的子程序, 等待合适的时间返回 , 这样的行为类似于进程的切换

  正因为协程又类似于线程执行的特性, 但是子程序切换几乎没有切换开销, 因此性能很好

  而且协程还可以避免临界资源操作的问题

  协程是一个线程执行

  构造协程一般是使用生成器, 利用send()发送相互传递数据

  常见的生产者消费者的范例

def consumer():
    r = ‘‘
    while True:
        n = yield r
        if not n:
            return
        print(‘[CONSUMER] Consuming %s...‘ % n)
        r = ‘200 OK‘

def produce(c):
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        print(‘[PRODUCER] Producing %s...‘ % n)
        r = c.send(n)
        print(‘[PRODUCER] Consumer return: %s‘ % r)
    c.close()

c = consumer()
produce(c)

2 asyncio

  基本使用为

import asyncio

@asyncio.coroutine
def hello():
    print("Hello world!")
    # 异步调用asyncio.sleep(1):
    r = yield from asyncio.sleep(1)
    print("Hello again!")

# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(hello())
loop.close()

  使用装饰器asyncio.coroutine装饰一个执行函数, 这样便可以生成一个异步执行IO的函数

  使用asyncio.get_event_loop()创建一个循环

  通过这个循环的对象执行run_until_complete()来执行异步IO

    其中run_until_complete()可以传入一个函数执行

    如果需要多个函数的话, 就需要将这些函数执行方法一个list中, 并使用asyncid.wait(list)

tasks = [hello(), hello()]
loop.run_until_complete(asyncio.wait(tasks))

  最后调用close()结束异步IO

  其中函数的写法是 需要使用 yield from来实现异步IO

  获取网页的函数编写如下

@asyncio.coroutine
def wget(host):
    print(‘wget %s...‘ % host)
    connect = asyncio.open_connection(host, 80)
    reader, writer = yield from connect
    header = ‘GET / HTTP/1.0\r\nHost: %s\r\n\r\n‘ % host
    writer.write(header.encode(‘utf-8‘))
    yield from writer.drain()
    while True:
        line = yield from reader.readline()
        if line == b‘\r\n‘:
            break
        print(‘%s header > %s‘ % (host, line.decode(‘utf-8‘).rstrip()))
    writer.close()

3 async和await

  使用asyncio.coroutine可以吧一个生成器标记为coroutine类型

  然后在内部使用yield from调用另一个coroutine实现异步操作

  为了进一步简化操作, 出现了async和await, 这是在python3.5开始支持的语法

  简化如下

    1) 装饰器asyncio.corontine替换为async

    2) yield from替换为await

  因此上述代码可以简化为

async def hello():
    print("Hello world!")
    r = await asyncio.sleep(1)
    print("Hello again!")

async def wget(host):
    print(‘wget %s...‘ % host)
    connect = asyncio.open_connection(host, 80)
    reader, writer = await connect
    header = ‘GET / HTTP/1.0\r\nHost: %s\r\n\r\n‘ % host
    writer.write(header.encode(‘utf-8‘))
    await writer.drain()
    while True:
        line = await reader.readline()
        if line == b‘\r\n‘:
            break
        print(‘%s header > %s‘ % (host, line.decode(‘utf-8‘).rstrip()))
    writer.close()

4 aiohttp

  asyncio实现了单线程并发io操作, 如果只是应用于客户端, 那么作用还不是那么明显

  针对于服务器, asyncio可能发挥更好的效果, 基于http协议实现的asyncio就是aiohttp

  安装

pip install aiohttp

  1) 导入包

import asyncio
from aiohttp import web

  2) 实现mian代码

if __name__ == ‘__main__‘:
    loop = asyncio.get_event_loop()
    loop.run_until_complete(init(loop))
    loop.run_forever()

  3) 编写初始化函数

  将循环loop作为参数传入, 用于创建webapp

  添加路由, 并指定处理函数

  最后创建服务器, 利用create_server()创建TCP服务

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route(‘GET‘, ‘/‘, index)
    app.router.add_route(‘GET‘, ‘/hello/{name}‘, hello)
    srv = await loop.create_server(app.make_handler(), ‘127.0.0.1‘, 8000)
    print(‘Server started at http://127.0.0.1:8000...‘)
    return srv

  4) 编写两个路由的处理函数

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b‘<h1>Index</h1>‘)

async def hello(request):
    await asyncio.sleep(0.5)
    text = ‘<h1>hello, %s!</h1>‘ % request.match_info[‘name‘]
    return web.Response(body=text.encode(‘utf-8‘))

  

时间: 2024-10-10 10:32:03

第十七章-异步IO的相关文章

JS读书笔记:《JavaScript框架设计》——第12章 异步处理

一.何为异步   执行任务的过程可以被分为发起和执行两个部分. 同步执行模式:任务发起后必须等待直到任务执行完成并返回结果后,才会执行下一个任务. 异步执行模式:任务发起后不等待任务执行完成,而是马上执行下一个任务,当任务执行完成时则会收到通知. 面对IO操作频繁的场景,异步执行模式可在同等的硬件资源条件下提供更大的并发处理能力,也就是更大的吞吐量. 但由于异步执行模式打破人们固有的思维方式,并且任务的发起和任务的执行是分离的,从而提高编程的复杂度. 多线程.多进程均可实现异步模式. 二.从回调

2017.2.16 开涛shiro教程-第十七章-OAuth2集成

原博客地址:http://jinnianshilongnian.iteye.com/blog/2018398 根据下载的pdf学习. 开涛shiro教程-第十七章-OAuth2集成 1.OAuth2介绍 (1)应用场景 很多开放平台,比如新浪微博开放平台,都在使用开发API接口供开发者使用.即带来了,第三方应用要到开放平台授权的问题.OAuth就是做这个的. 1 OAuth2官网:http://oauth.net/2/ 2 OAuth2协议:http://tools.ietf.org/html/

node.js零基础详细教程(4):node.js事件机制、node异步IO操作

第四章 建议学习时间3小时  课程共10章 学习方式:详细阅读,并手动实现相关代码 学习目标:此教程将教会大家 安装Node.搭建服务器.express.mysql.mongodb.编写后台业务逻辑.编写接口,最后完成一个完整的项目后台,预计共10天课程. node.js事件机制 node.js是单线程,但是通过事件和回调支持并发,可以实现非常高的性能. node.js所有的API都是通过异步调用.第一堂课的时候,我们写过一个同步和异步的示例(如下),当初说到:同步代码先执行完成,然后才执行异步

同步IO,异步IO,阻塞IO,非阻塞IO的联系与区别

转载 POSIX 同步IO.异步IO.阻塞IO.非阻塞IO,这几个词常见于各种各样的与网络相关的文章之中,往往不同上下文中它们的意思是不一样的,以致于我在很长一段时间对此感到困惑,所以想写一篇文章整理一下. POSIX(可移植操作系统接口)把同步IO操作定义为导致进程阻塞直到IO完成的操作,反之则是异步IO 按POSIX的描述似乎把同步和阻塞划等号,异步和非阻塞划等号,但是为什么有的人说同步IO不等于阻塞IO呢?先来说说几种常见的IO模型吧. IO模型 这里统一使用Linux下的系统调用recv

Python高级编程和异步IO并发编程

Python高级编程和异步IO并发编程网盘地址:https://pan.baidu.com/s/1eB-BsUacBRhKxh7qXwndMQ 密码: tgba备用地址(腾讯微云):https://share.weiyun.com/5Z3x9V0 密码:7cdnb2 针对Python高级编程和异步IO并发编程,把每个Python高级知识点从起因到原理讲透的课程全网难寻 第1章 课程简介第2章 python中一切皆对象第3章 魔法函数第4章 深入类和对象第5章 自定义序列类第6章 深入python

Java网络编程和NIO详解5:Java 非阻塞 IO 和异步 IO

Java网络编程和NIO详解5:Java 非阻塞 IO 和异步 IO Java 非阻塞 IO 和异步 IO 转自https://www.javadoop.com/post/nio-and-aio 本系列文章首发于我的个人博客:https://h2pl.github.io/ 欢迎阅览我的CSDN专栏:Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github:https://github.com/h2p

Windows内核原理-同步IO与异步IO

目录 Windows内核原理-同步IO与异步IO 背景 目的 I/O 同步I/O 异步I/O I/O完成通知 总结 参考文档 Windows内核原理-同步IO与异步IO 背景 在前段时间检查异常连接导致的内存泄漏排查的过程中,主要涉及到了windows异步I/O相关的知识,看了许多包括重叠I/O.完成端口.IRP.设备驱动程序等Windows下I/O相关的知识,虽然学习到了很多东西,但是仍然需要自顶而下的将所有知识进行梳理. 目的 本片文章主要讲解同步I/O与异步I/O相关知识,希望通过编写本篇

Node.js异步IO

为什么要异步I/O? 从用户体验角度讲,异步IO可以消除UI阻塞,快速响应资源 JavaScript是单线程的,它与UI渲染共用一个线程.所以在JavaScript执行的时候,UI渲染将处于停顿的状态,用户体验较差.而异步请求可以在下载资源的时候,JavaScript和UI渲染都同时执行,消除UI阻塞,降低响应资源需要的时间开销. 假如一个资源来自两个不同位置的数据的返回,第一个资源需要M毫秒的耗时,第二个资源需要N毫秒的耗时.当采用同步的方式,总耗时为(M+N)毫秒,代码大致如下: //耗时为

006 异步IO操作

# 异步IO操作 CreateFile 使用 VS2015 新建win32 控制台应用程序 WindowsFileDemo win32控制台写窗口程序 需要加入头文件 #include <fileAPI.h> 就可以来使用CreateFile 分别有 CreateFileA  CreateFileW 窄字节 宽字节 1 HANDLE WINAPI CreateFile( 2 _In_ LPCTSTR lpFileName, 3 _In_ DWORD dwDesiredAccess, 4 _In