前言
1.什么是I/O多路复用?
我们都知道,在同一时刻,我们的服务器端只能处理同1个客户端,即客户端和服务器端处于一对一的模式。即服务器端和客户端在进行请求、响应都是1对1的进行。
但是,现在的需求是:我们要让多个客户端连接至服务器端,而且服务器端需要处理来自多个客户端请求,这样的话,传统的模式就实现不了了,此时我们该采用什么方式来处理呢?
解决方法:
采用I/O多路复用机制。在python网络编程中,I/O多路复用机制就是用来解决多个客户端连接请求服务器端,而服务器端能正常处理并响应给客户端的一种机制。
书面上来说,就是通过1种机制:可以监听多个文件描述符,一旦描述符就绪,能够通知程序进行相应的读写操作。
2.什么是文件描述符?
在网络中,一个socket对象就是1个文件描述符,在文件中,1个文件句柄(即file对象)就是1个文件描述符。其实可以理解为就是一个“指针”或“句柄”,指向1个socket或file对象,当file或socket发生改变时,这个对象对应的文件描述符,也会发生相应改变。
3.在python中I/O操作包括哪些?
- 网络操作,即建立socket对象,进行建立连接,发送、接收、处理请求、响应等
- 文件操作,即建立file对象,进行文件的读、写操作
- 终端操作。即进行交互式输入输出等操作
4.I/O多路复用
在I/O编程过程中,当需要同时处理多个客户端接入请求时,可以利用多线程或者I/O多路复用技术进行处理。
I/O多路复用技术通过把多个I/O的阻塞复用到同一个select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端请求。
与传统的多线程/多进程模型比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外进程或者线程,也不需要维护这些进程和线程的运行,降底了系统的维护工作量,节省了系统资源。
5.I/O多路复用的主要应用场景如下:
- 服务器需要同时处理多个处于监听状态或者多个连接状态的套接字。
- 服务器需要同时处理多种网络协议的套接字。
一、python的select模块
在Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的 select,poll,epoll ,从而实现IO多路复用。
在Linux中,I/O多路复用具体介绍如下所示:
|
select方法,用来监视文件句柄,如果句柄发生变化,则获取该句柄
select(rlist, wlist, xlist[, timeout]) -> (rlist, wlist, xlist)
句柄列表11, 句柄列表22, 句柄列表33 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间)
参数: 可接受四个参数(前三个必须),rlist, wlist, xlist[, timeout]
返回值:三个列表:rlist, wlist, xlist
1、当 参数1 序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1 序列中
2、当 参数2 序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2 序列中
3、当 参数3 序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3 序列中
4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化
当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。
示例1,linux下监视终端操作的实例,即把输入的东西读出来。(在linux环境下使用该示例)
- 其实我们输入的东西,在linux下是放在sys模块下的stdin管道里面的,系统要使用的时候是在stdin里面读、取的。
- 读取输入管道里面的东西,采用:sys.stdin.readline()
#!/usr/bin/env python # -*- coding:utf-8 -*- import select import threading import sys while True: #监听select的第一个参数:sys.stdin,这里表示监听用户输入,我们的sys.stdin相当于终端描述符,相当于文件的句柄。 #如果监听到有更改,即用户有输入,select就会感知到,然后就把变化的文件句柄保存至列表,并将列表返回给第一个参数:readable #如果没有改变,即用户没有输入,select就会感知到没有改变,readable列表就是空的列表[] readable,writeable,error = select.select([sys.stdin,],[],[],1) if sys.stdin in readable: print "select get stdin",sys.stdin.readline()
示例2:监听多个I/O(这里指socket对象),用浏览器访问,并打印访问的客户端地址
#!/usr/bin/env python # -*- coding:utf-8 -*- import socket import select sk = socket.socket() ip_port = (‘127.0.0.1‘,8888) sk.bind(ip_port) sk.listen(5) #设置不阻塞 sk.setblocking(False) sk1 = socket.socket() ip_port1 = (‘127.0.0.1‘,9999) sk1.bind(ip_port1) sk1.listen(5) #设置不阻塞 sk1.setblocking(False) inputs = [sk,sk1,] while True: rList,w,e = select.select(inputs,[],[],2) for r in rList: conn,addr = r.accept() print addr sk.close()
在浏览器中打开2个窗口,分别输入127.0.0.1:8888和127.0.0.1:8888,访问结果显示如下: