python之异步IO

协程的用武之地

  • 并发量较大的系统和容易在IO方面出现瓶颈(磁盘IO,网络IO),采用多线程、多进程可以解决这个问题,当然线程、进程的切换时很消耗资源的。最好的解决方案是使用单线程方式解决并发IO问题--这就是协程发挥作用之处。
  • 协程其实就是单线程在调度,是无法利用多核CPU,所以对于计算密集型的任务还是需要考虑多进程+协程的方式。

参考:

  http://blog.csdn.net/qq910894904/article/details/41699541

  http://www.cnblogs.com/xone/p/6198500.html

异步IO库之asyncio

  • asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。
  • asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO。
import asyncio
import threading

@asyncio.coroutine
def hello(index):
    print(‘hello world! index=%s,thread=%s‘ % (index,threading.currentThread()))
    yield from asyncio.sleep(1)
    print(‘hello  again! index=%s,thread=%s‘ % (index,threading.currentThread()))

loop=asyncio.get_event_loop()
tasks=[hello(i) for i in range(10000)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
import asyncio

@asyncio.coroutine
def wget(url):
    print(‘wget %s...‘ % (url))
    connection = asyncio.open_connection(url,80)
    reader,writer=yield from connection
    header = ‘GET / HTTP/1.0\r\nHOST: %s\r\n\r\n‘ % url
    writer.write(header.encode(‘utf-8‘))
    yield from writer.drain()
    while True:
        line = yield from reader.readline()
        if line == b‘\r\n‘:
            break
        print(‘%s header > %s‘ % (url,line.decode(‘utf-8‘).rstrip()))

    writer.close()

loop = asyncio.get_event_loop()
tasks=[wget(url) for url in [‘www.sina.com.cn‘, ‘www.sohu.com‘, ‘www.163.com‘]]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

async和await

  • 为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法async和await,可以让coroutine的代码更简洁易读。(其实Net中也有这个东东)

参考:

  https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00144661533005329786387b5684be385062a121e834ac7000

aiohttp

  • aiohttp则是基于asyncio实现的HTTP框架
  • 于HTTP连接就是IO操作,因此可以用单线程+coroutine实现多用户的高并发支持
import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b‘<h1>Index</h1>‘)

async def hello(request):
    await asyncio.sleep(0.5)
    text = ‘<h1>hello, %s!</h1>‘ % request.match_info[‘name‘]
    return web.Response(body=text.encode(‘utf-8‘))

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route(‘GET‘, ‘/‘, index)
    app.router.add_route(‘GET‘, ‘/hello/{name}‘, hello)
    srv = await loop.create_server(app.make_handler(), ‘127.0.0.1‘, 8000)
    print(‘Server started at http://127.0.0.1:8000...‘)
    return srv

loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

报异常了:

from aiohttp import web
ImportError: cannot import name ‘web‘

以上问题不知道是不是因为版本问题?待解决...........

时间: 2024-10-13 22:24:59

python之异步IO的相关文章

Python学习---Python的异步IO[all]

1.1.1. 前期环境准备和基础知识 安装: pip3 install aiohttp pip3 install grequests pip3 install wheel pip3 install scrapy 注意: windows上scrapy依赖 https://sourceforge.net/projects/pywin32/files/ 安装Twisted a. http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted, b. 下载:Twis

如何用python实现异步io

在IO编程一节中,我们已经知道,CPU的速度远远快于磁盘.网络等IO.在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件.发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作.这种情况称为同步IO. 在IO操作的过程中,当前线程被挂起,而其他需要CPU执行的代码就无法被当前线程执行了. 因为一个IO操作就阻塞了当前线程,导致其他代码无法执行,所以我们必须使用多线程或者多进程来并发执行代码,为多个用户服务.每个用户都会分配一个线程,如果遇到IO导致线程被挂起,其他

Python黑魔法 --- 异步IO( asyncio) 协程

https://www.jianshu.com/p/b5e347b3a17c python asyncio 网络模型有很多中,为了实现高并发也有很多方案,多线程,多进程.无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态.使用协程可以实现高效的并发任务.Python的在3.4中引入了协程的概念,可是这个还是以生成器对象为基础,3.5则确定了协程的语法.下面将简单介绍asyncio的使用.实现协程的不仅仅是asyncio,tornado和g

python的异步IO模块

asyncio模块:示例一 import asyncio @asyncio.coroutine def func1(): print('before...func1......') yield from asyncio.sleep(5) print('end...func1......') tasks = [func1(), func1()] loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.gather(*tasks

【python】异步IO

No1: 协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行. 优势: 1.最大的优势就是协程极高的执行效率.因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显. 2.不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多. No2: 因为协程是一个线程执行,那怎么利用多核CPU呢?

初始Python的异步IO操作(待完善)

1 import aiohttp 2 import asyncio 3 4 def consumer(): 5 r='' 6 while True: 7 n = yield r 8 if n: 9 r='200 OK' 10 print('客户取走了%s'%(str(n))) 11 else: 12 print('没货') 13 14 def producer(c): 15 n=0 16 c.send(None) 17 while n<5: 18 n+=1 19 print('生产了%s'%(s

python之自定义异步IO客户端

#!/usr/bin/env python # -*- coding: utf8 -*- # __Author: "Skiler Hao" # date: 2017/5/16 15:04 import select import socket import pprint """ 自定义了异步IO模块 利用非阻塞的socket,不等待连接是否成功,不等待请求的相应 select模块,去监听创建的套接字,是否有准备写,准备读的 ""&quo

pythonasyncore异步IO由python标准库学习

# -*- coding: utf-8 -*- # python:2.x __author__ = 'Administrator' import asynchat,asyncore,logging,socket #asyncore异步IO #作用:异常IO处理 #功能是处理IO对象,如套接字,从而能异步管理这些对象(而不是多个线程或者进程),包括类有dispatcher,这是一个套接字的包装器,提供了一些HOOK(钩子),从主循环函数loo()调用时可以处理连接以及读写事件 #服务器 #第一个类

python 协程, 异步IO Select 和 selectors 模块 多并发演示

主要内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 selectors 模块 多并发演示 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开