LinuxI/O多路复用

I/O多路复用通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。I/O 多路复用技术是为了解决进程或线程阻塞到某个I/O系统调用而出现的技术,使进程不阻塞于某个特定的 I/O 系统调用。

I/O多路复用select

该函数准许进程指示内核等待多个事件中的任何一个发送,并只在有一个或多个事件发生或经历一段指定的时间后才唤醒。

select函数

1.1  需要头文件

#include <sys/select.h>

#include <sys/time.h>

#include <sys/types.h>

#include <unistd.h/>

1.2  声明和返回值

1.  声明

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

2.  返回值

成功:就绪描述符的数目,超时返回 0。

出错:-1。

1.3  功能

监视并等待多个文件描述符的属性变化(可读、可写或错误异常)。select()函数监视的文件描述符分 3
类,分别是writefds、readfds、和exceptfds。调用后select()
函数会阻塞,直到有描述符就绪(有数据可读、可写、或者有错误异常),或者超时( timeout
指定等待时间),函数才返回。当select()函数返回后,可以通过遍历 fdset,来找到就绪的描述符。

1.4  参数

1.  nfds: 要监视的文件描述符的范围,一般取监视的描述符数的最大值+1,如这里写 10, 这样的话,描述符 0,1, 2 …… 9 都会被监视,在 Linux 上最大值一般为1024。

2.  readfd: 监视的可读描述符集合,只要有文件描述符即将进行读操作,这个文件描述符就存储到这。

3.  writefds: 监视的可写描述符集合。

4.  exceptfds: 监视的错误异常描述符集合。

5.  timeout告知内核等待所指定描述字中的任何一个就绪可花多少时间。 其timeval结构用于指定这段时间的秒数和微秒数。

struct timeval{

long tv_sec;   //seconds

long tv_usec;  //microseconds

};

timeout可以设置的值:

1、把该参数设置为空指针NULL。表示永远等待下去,当有一个描述字准备好I/O时才返回。

2、把该参数设置为指定了timeval结构中的秒数和微秒数的值。表示等待指定了超时时间,当超时后还没有描述字准备好I/O时直接返回。

3、把该参数设置为指定了timeval结构中的秒数和微秒数的值,而且秒数和微秒都为0。表示不检查描述字是否准备好I/O后立即返回,这称为轮询。

1.5  fd_set

fd_set可以理解为一个集合,这个集合中存放的是文件描述符,可通过以下四个宏进行设置:

1.  void FD_ZERO(fd_set *fdset);       //清空集合

2.  void FD_SET(int fd, fd_set *fdset);   //将一个给定的文件描述符加入集合之中

3.  void FD_CLR(int fd, fd_set *fdset);   //将一个给定的文件描述符从集合中删除

4.  int FD_ISSET(int fd, fd_set *fdset);   //检查集合中指定的文件描述符是否可以读写

select优点和缺点

2.1  优点

select()目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点。

2.2  缺点

1、每次调用 select(),都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大,同时每次调用select()都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大。

2、单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,可以通过修改宏定义甚至重新编译内核的方式提升这一限制,但是这样也会造成效率的降低。

I/O多路复用poll

select()和poll()系统调用的本质一样,前者在BSD UNIX中引入的,后者在System V中引入的。poll()的机制与
select() 类似,与 select() 在本质上没有多大差别,管理多个描述符也是进行轮询,根据描述符的状态进行处理,但是 poll()
没有最大文件描述符数量的限制(但是数量过大后性能也是会下降)。poll() 和 select()
同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。

poll函数

1.1  需要头文件

#include <poll.h/>

1.2  声明和返回值

1.  声明

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

2.  返回值

成功时,poll()返回结构体中revents域不为0的文件描述符个数;如果在超时前没有任何事件发生,poll()返回 0;

失败时,poll()返回 -1,并设置 errno 为下列值之一:

EBADF:一个或多个结构体中指定的文件描述符无效。

EFAULT:fds 指针指向的地址超出进程的地址空间。

EINTR:请求的事件之前产生一个信号,调用可以重新发起。

EINVAL:nfds参数超出 PLIMIT_NOFILE 值。

ENOMEM:可用内存不足,无法完成请求。

1.3  功能

监视并等待多个文件描述符的属性变化。

1.4  参数

1.  fds 不同与select()使用三个位图来表示三个 fdset
的方式,poll()使用一个pollfd的指针实现。一个pollfd 结构体数组,其中包括了你想测试的文件描述符和事件, 事件由结构中事件域
events 来确定,调用后实际发生的时间将被填写在结构体的revents 域。

struct pollfd{

int fd;         //文件描述符

short events;   //等待的事件

short revents;  //实际发生了的事件

};

fd 每一个 pollfd 结构体指定了一个被监视的文件描述符,可以传递多个结构体,指示poll()监视多个文件描述符。

events:每个结构体的 events 域是监视该文件描述符的事件掩码,由用户来设置这个域。events 等待事件的掩码取值如下:

处理输入:

POLLIN 普通或优先级带数据可读

POLLRDNORM 普通数据可读

POLLRDBAND 优先级带数据可读

POLLPRI 高优先级数据可读

处理输出:

POLLOUT 普通或优先级带数据可写

POLLWRNORM 普通数据可写

POLLWRBAND 优先级带数据可写

处理错误:

POLLERR发生错误

POLLHUP发生挂起

POLLVAL 描述字不是一个打开的文件

poll() 处理三个级别的数据,普通normal,优先级带priority band,高优先级high priority,这些都是出于流的实现。

POLLIN | POLLPRI 等价于select()的读事件。

POLLOUT | POLLWRBAND等价于select() 的写事件。

POLLIN等价于POLLRDNORM | POLLRDBAND。

POLLOUT等价于POLLWRNORM。

例如,要同时监视一个文件描述符是否可读和可写,我们可以设置events为 POLLIN | POLLOUT。

revents域是文件描述符的操作结果事件掩码,内核在调用返回时设置这个域。events
域中请求的任何事件都可能在revents域中返回。每个结构体的 events
域是由用户来设置,告诉内核我们关注的是什么,而revents域是返回时内核设置的,以说明对该描述符发生了什么事件。

2.  nfds 用来指定第一个参数数组元素个数。

3.  timeout: 指定等待的毫秒数。

如果timeout设置为等待的毫秒数,无论I/O是否准备好,poll()都会返回。

如果timeout设置为 0时,poll() 函数立即返回。

如果timeout设置为 -1时,poll()一直阻塞到一个指定事件发生。

I/O多路复用epoll

epoll是在2.6内核中提出的,是之前的 select()和 poll()的增强版本。相对于 select()和
poll()来说,epoll更加灵活,没有描述符限制。epoll使用一个文件描述符管理多个描述符,将用户关系的文件描述符的事件存放到内核的一个事件表中,这样在用户空间和内核空间的copy只需一次。

需要头文件

#include <sys/epoll.h>

声明

int epoll_create(int size);

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

epoll_create 函数

int epoll_create(int size);
3.1 功能

该函数生成一个 epoll 专用的文件描述符(创建一个 epoll 的句柄)。
3.2 参数

size 用来告诉内核这个监听的数目一共有多大,参数size并不是限制了 epoll 所能监听的描述符最大个数,只是对内核初始分配内部数据结构的一个建议。

自从linux 2.6.8之后,size 参数是被忽略的,也就是说可以填只有大于0
的任意值。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看 /proc/ 进程
id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。

3.3  返回值

成功:epoll专用的文件描述符

失败:-1

epoll_ctl函数

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

4.1  功能

epoll的事件注册函数,它不同于select()是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型。

4.2  参数

1.  epfd  epoll 专用的文件描述符,epoll_create()的返回值

2.  op  表示动作,用三个宏来表示:

EPOLL_CTL_ADD:注册新的 fd 到 epfd 中;

EPOLL_CTL_MOD:修改已经注册的fd的监听事件;

EPOLL_CTL_DEL:从 epfd 中删除一个 fd;

3.  fd  需要监听的文件描述符

4.  event  告诉内核要监听什么事件,struct epoll_event 结构如下:

// 保存触发事件的某个文件描述符相关的数据(与具体使用方式有关)

typedef union epoll_data {

void *ptr;

int fd;

__uint32_t u32;

__uint64_t u64;

} epoll_data_t;

// 感兴趣的事件和被触发的事件

struct epoll_event {

__uint32_t events; /* Epoll events */

epoll_data_t data; /* User data variable */

};

events 可以是以下几个宏的集合:

EPOLLIN :表示对应的文件描述符可以读(包括对端 SOCKET 正常关闭);

EPOLLOUT:表示对应的文件描述符可以写;

EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);

EPOLLERR:表示对应的文件描述符发生错误;

EPOLLHUP:表示对应的文件描述符被挂断;

EPOLLET :将 EPOLL 设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。

EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个 socket 的话,需要再次把这个 socket 加入到 EPOLL 队列里

4.3  返回值

成功:0

失败:-1

epoll_wait函数

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

5.1  功能

等待事件的产生,收集在 epoll 监控的事件中已经发送的事件,类似于 select() 调用。

5.2  参数

1.  epfd  epoll 专用的文件描述符,epoll_create()的返回值

2.  events 分配好的 epoll_event 结构体数组,epoll 将会把发生的事件赋值到events 数组中(events 不可以是空指针,内核只负责把数据复制到这个 events 数组中,不会去帮助我们在用户态中分配内存)。

3.  maxevents  maxevents 告之内核这个 events 有多大 。

4.  timeout  超时时间。

如果timeout设置为等待的毫秒数,无论I/O是否准备好,都会返回。

如果timeout设置为 0时,函数立即返回。

如果timeout设置为 -1时,一直阻塞到一个指定事件发生。

5.3  返回值

成功:返回需要处理的事件数目,如返回 0 表示已超时。

失败:-1

LT模式与ET模式

epoll 对文件描述符的操作有两种模式:LT(level trigger)和 ET(edge trigger)。LT 模式是默认模式。

6.1  LT模式

当 epoll_wait 检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用 epoll_wait 时,会再次响应应用程序并通知此事件。

6.2  ET模式

当 epoll_wait 检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用 epoll_wait 时,不会再次响应应用程序并通知此事件。

6.3  LT模式与ET模式比较

ET模式在很大程度上减少了epoll 事件被重复触发的次数,因此效率要比 LT 模式高。epoll 工作在 ET 模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。

epoll 的优点

1、在
select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll()事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制(软件中断
),迅速激活这个文件描述符,当进程调用 epoll_wait()时便得到通知。

2、监视的描述符数量不受限制,它所支持的 FD 上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在 1GB
内存的机器上大约是 10 万左右,具体数目可以 cat /proc/sys/fs/file-max
察看,一般来说这个数目和系统内存关系很大。select()的最大缺点就是进程打开的 fd
是有数量限制的。这对于连接数量比较大的服务器来说根本不能满足。虽然也可以选择多进程的解决方案( Apache 就是这样实现的),不过虽然
Linux 上面创建进程的代价比较小,但仍旧是不可忽视的,加上进程间数据同步远比不上线程间同步的高效,所以也不是一种完美的方案。

3、I/O 的效率不会随着监视 fd 的数量的增长而下降。select(),poll() 实现需要自己不断轮询所有 fd
集合,直到设备就绪,期间可能要睡眠和唤醒多次交替。而 epoll 其实也需要调用 epoll_wait()
不断轮询就绪链表,期间也可能多次睡眠和唤醒交替,但是它是设备就绪时,调用回调函数,把就绪 fd 放入就绪链表中,并唤醒在
epoll_wait() 中进入睡眠的进程。虽然都要睡眠和交替,但是 select() 和 poll() 在“醒着”的时候要遍历整个fd集合,而
epoll 在“醒着”的时候只要判断一下就绪链表是否为空就行了,这节省了大量的 CPU 时间。这就是回调机制带来的性能提升。

4、select(),poll() 每次调用都要把 fd 集合从用户态往内核态拷贝一次,而epoll只要一次拷贝,这也能节省不少的开销。

时间: 2024-11-21 01:51:14

LinuxI/O多路复用的相关文章

多路复用之select、epoll、poll

IO的多路复用:一个进程可以监视多个描述符,一旦某个描述符读就绪或写就绪,能够通知进程程序进行相应的读写操作 使用场景: 1.当客户处理多个描述符(网络套接口)或一个客户同时处理多个套接口 2.TCP服务器既要处理监听套接口又要处理已经连接的套接口 3.一个服务器处理多个服务或多个协议也要使用I/O复用 与多进程和多线程相比,I/O多路复用最大优点系统开销小,系统也不必创建进程或线程,因而也不用维护这些进程和线程 支持I/O多路复用的系统调用:select.poll.epoll本质上都是同步IO

Unix C语言编写基于IO多路复用的小型并发服务器

背景介绍 如果服务器要同时处理网络上的套接字连接请求和本地的标准输入命令请求,那么如果我们使用accept来接受连接请求,则无法处理标准输入请求;类似地,如果在read中等待一个输入请求,则无法处理网络连接的请求. 所谓I/O多路复用机制,就是说通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作.但 select,poll,epoll本质上都是同步I/O,因为他们都需要在读写事件就绪后自己负责进行读写,也就是说这个读写过程是阻塞的,而还

自动化运维Python系列之IO多路复用、SocketServer源码分析

IO多路复用 IO多路复用是指:通过一种机制,可以监视多个描述符,一旦某个系统描述符就绪(一般是读就绪或者写就绪)能够通知程序进行相应的读写操作 实例化例子就是在SocketServer模块中,客户端和服务端建立好连接,此时服务端通过监听conn这条链路,一旦客户端发送了数据,conn链路状态就发生变化,服务端就知道有数据要接收... Linux系统中同时存在select.pull.epoll三种IO多路复用机制 windows中只有select机制 1)select select本质上是通过设

IO多路复用——select

IO多路复用 是同步IO的一种,用一个进程一次等待多个IO就绪事件的发生,加大概率,尽可能高效的等. 适用场景 (1)当客户处理多个描述字时(一般是交互式输入和网络套接口),必须使用I/O复用. (2)当一个客户同时处理多个套接口时,而这种情况是可能的,但很少出现. (3)如果一个TCP服务器既要处理监听套接口,又要处理已连接套接口,一般也要用到I/O复用. (4)如果一个服务器即要处理TCP,又要处理UDP,一般要使用I/O复用. (5)如果一个服务器要处理多个服务或多个协议,一般要使用I/O

python IO 多路复用 select poll epoll

三个多路复用模型的概念 select select 原理 select 是通过系统调用来监视着一个由多个文件描述符(file descriptor)组成的数组,当select()返回后,数组中就绪的文件描述符会被内核修改标记位(其实就是一个整数),使得进程可以获得这些文件描述符从而进行后续的读写操作.select饰通过遍历来监视整个数组的,而且每次遍历都是线性的. select 优点 select目前几乎在所有的平台上支持,良好跨平台性. select 缺点 每次调用select,都需要把fd集

Python(七)Socket编程、IO多路复用、SocketServer

本章内容: Socket IO多路复用(select) SocketServer 模块(ThreadingTCPServer源码剖析) Socket socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求. 功能: sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0) 参数一:地址簇 socket.AF_INET IPv4(默认)

socket编程:多路复用之select模型

系统提供select函数来实现多路复用输入/输出模型. select函数让我们的程序监视多个文件描述符的状态变化.程序会停在select这里等待,直到被监视的文件描述符中有一个或多个发生了状态变化 函数原型如下: 返回值:   成功返回就绪描述符的个数,超过timeout时间且没有任何事件发生返回0,失败返回-1 参数解释: nfds:    被监视的文件描述符中值最大描述符值加1(描述符是从0开始的,描述符0.1.2...nfds-1均将被测试) 下面三个参数readset.writeset和

多路复用I/O模型代码实现

多路复用I/O:  socket编程之select(),poll(),epoll() 代码: client.c 1 #include <stdio.h> 2 #include <sys/types.h> 3 #include <sys/stat.h> 4 #include <stdlib.h> 5 #include <string.h> 6 #include <errno.h> 7 #include <netinet/in.h&

IO多路复用-select

首先列一下,sellect.poll.epoll三者的区别 select select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作. select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一. select的一个缺点在于单个进程能够监视的文件描述符的数量存在