自定义异步IO模块前戏

一:线程池,进程池等相关文章了解 python---基础知识回顾(十)进程和线程(py2中自定义线程池和py3中的线程池使用) python---基础知识回顾(十)进程和线程(协程gevent:线程在I/O请求上的优化) python---异步IO(asyncio)协程 二:异步I/O模块的了解(同协程:线程在I/O请求上的优化) (一)asyncio模块的使用 1.使用简单实例 import asyncio,time async def func1(num): print(num,"befor

响应头和响应体是用两个换行分割的 sk.setblock(False) 不阻塞 host是IP  比如www.baidu.com也是host,IP地址也是 r,w,e=select.select() w是连接成功的socket对象 r是有数据返回的socket对象 IO多路复用:r,w,e=while 监听多个socket对象 异步IO:非阻塞的socket+IO多路复用 -非阻塞socket -select[自己对象],w,r 异步IO模块本身是一个线程同步,使用者是异步的 import so

对于异步IO请求的本质则是[非阻塞Socket]+[IO多路复用],那我们是否可以自定义异步IO模块? 自定义一个插件,模块如下: import socket import select class Request(object): """ select监听的是有变化的对象,当多个socket通信存在的话,当发生变化时,无法确定哪个是哪个.此时就需要唯一指定哪个通信处理的是什么数据! 我们想到的办法是,再另创建一个类,用于接收当前的socket和信息,实例化唯一的对象! 巧妙

#!/usr/bin/env python # -*- coding: utf8 -*- # __Author: "Skiler Hao" # date: 2017/5/16 15:04 import select import socket import pprint """ 自定义了异步IO模块 利用非阻塞的socket,不等待连接是否成功,不等待请求的相应 select模块,去监听创建的套接字,是否有准备写,准备读的 ""&quo

异步就是回调 异步 = 非阻塞+循环 select只能完成IO多路复用,不能完成异步 IO多路复用--->监听多个socket对象,这个过程是同步的 利用其特性可以开发异步模块 异步IO:非阻塞的socket + IO多路复用 自定义异步框架 import socket import select class HttpRequest(object): def __init__(self, sk, host, callback): self.socket = sk self.host = host

gevent:mokey.path_all (找到所有socket,进行异步IO) gevent+requests=>grequests Twisted: reactor.run() 死循环 Tornado =>gevent > Twisted > Tornado > asyncio www.cnblogs.com/wupeiqi/articles/6229292.html """ import gevent import requests fr

asyncio模块:示例一 import asyncio @asyncio.coroutine def func1(): print('before...func1......') yield from asyncio.sleep(5) print('end...func1......') tasks = [func1(), func1()] loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.gather(*tasks

'''客户端''' import socket,select #####进行封装,将socket对象和要返回的url,和回调函数进行一下封装 class Httprequest(): def __init__(self,sk,host,callback): self.socket=sk self.host=host#####这个host就是www.baidu.ocm,根据这个域名可以获取到相对应的ip出来 self.callback=callback ##不一定是socket,只要在监听的对象里

1.1.1. 前期环境准备和基础知识 安装: pip3 install aiohttp pip3 install grequests pip3 install wheel pip3 install scrapy 注意: windows上scrapy依赖 https://sourceforge.net/projects/pywin32/files/ 安装Twisted a. http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted, b. 下载:Twis