高级IO编程

一.5种I/O模型

一个I/O可以分为两个过程:等待和数据搬迁。

1.阻塞I/O

两个过程都有自己来完成,其他什么事也不做。

2.非阻塞I/O

在等的过程中可以干一些其他的事,等到数据准备好再进行搬迁

3.信号驱动I/O

等数据准备好的过程由信号来触发,在这期间自己可以干一些别的事

4.I/O复用

同时阻塞多个I/O操作,谁数据准备好就对其进行数据搬迁。

5.异步I/O

将任务派发,不用自己来完成。完成之后通知自己就行。

二.高级I/O

非阻塞IO,纪录锁,系统V流机制,I/O多路转接(select/poll),readv和writev函数以及存储映射IO(mmap),这些统称为高级IO。

1.socketpair

pipe用来创建管道,但是单个管道只能单向通信,一端用于读,而另一端用于写。如果要实现进程双向通信,必须创建一对管道。而socketpair则可以用来创建双向通信的管道,具体实现如下:

#include <sys/types.h>          /* See NOTES */

#include <sys/socket.h>

int socketpair(int domain, int type, int protocol, int sv[2]);

domain:域  type:传输类型 protocol:协议类型,

创建父子进程,让子进程关闭读,父关闭写,然后双方发送消息

  1 #include<stdio.h>
  2 #include<errno.h>
  3 #include<unistd.h>
  4 #include<stdlib.h>
  5 #include<string.h>
  6 #include<sys/socket.h>
  7 #include<sys/types.h>
  8 int main()
  9 {
 10    int sv[2]={0,0};
 11    int sock=socketpair(AF_LOCAL,SOCK_STREAM,0,sv);
 12    if(sock<0)
 13    {
 14       perror("socketpair");
 15       exit(1);
 16    }
 17    pid_t id=fork();
 19    if(id<0)
 20    {
 21      perror("fork");
 22      exit(2);
 23    }
 24    else if(id==0)
 25   {
 26    close (sv[0]);//读关闭
 27    char buf[1024];
 28    while(1)
 29    {
 30      memset(buf,‘\0‘,sizeof(buf));
 31      strcpy(buf,"hello bit");
 32      write(sv[1],buf,sizeof(buf)-1);
 33      ssize_t size=read(sv[1],buf,sizeof(buf)-1);
 34      buf[size]=‘\0‘;
 36     sleep(1);
 37 
 38      printf("father->child:  %s\n",buf);
 39    }
 40   }
 41  else
 42   {
 43      close (sv[1]);//写关闭
 44      char buf[1024];
 45      while(1)
 46      {
 47        ssize_t size=read(sv[0],buf,sizeof(buf)-1);
 48        buf[size]=‘\0‘;
 49        printf("child-> father: %s\n",buf);
 50        strcpy(buf,"hello");
 51        write(sv[0],buf,sizeof(buf));
 52           //sleep(2);
 53      }
 54    }
 55 
 56    return 0;
 57 }

程序结果:

2.dup/dup2对输入文件描述符重定向

dup将标准输出重定向当前旧的且不用的最小文件描述符。

dup2将old文件描述符指向的内容复制到new,两者指向同一文件

dup代码:

  1 #include<stdio.h>
  2 //#define _OPEN_FILE_ "./log"
  3 #include<unistd.h>
  4 #include<sys/types.h>
  5 #include<fcntl.h>
  6 #include<sys/stat.h>
  7 #include<unistd.h>
  8 int main()
  9 {
 10    umask(0);
 11    int fd=open("./log",O_CREAT|O_RDWR);
 12    if(fd<0)
 13    {
 14       printf("open");
 15       exit(1);
 16       
 17    }  
 18    close(1);
 19    int new_fd=dup(fd);
 20    close(fd);
 23     int count=1;
 24    while(count++<10)
 25   {
 26 
 27       printf("hello bit\n");
 28       fflush(stdout);
 29   }
 31   close(new_fd);
 33   return 0;
 34 }

程序结果:

dup2代码:

 8 int main()
  9 {
 10    umask(0);
 11    int fd=open("./log",O_CREAT|O_RDWR);
 12    if(fd<0)
 13    {
 14       printf("open");
 15       exit(1);
 16       
 17    }  
 18    close(1);
 19    int ret=dup2(fd,1);
 20    
 23     int count=1;
 24    while(count++<10)
 25   {
 26 
 27       printf("hello bit\n");
 28       fflush(stdout);
 29   }
 31   close(fd);
 33   return 0;
 34 }

3.I/O多路转接之select

系统提供select函数来实现多路复用输入/输出模型。select系统调用来让我们的程序监视

个句柄的状态变化,0是标准输入,1是标准输出,2是标准错误输出。0、1、2是整数表示的,对应的FILE *结构的表示就是stdin、stdout、stderr。

#include <sys/time.h>

#include <sys/types.h>

#include <unistd.h>

int select(int nfds, fd_set *readfds, fd_set *writefds,

fd_set *exceptfds, struct timeval *timeout);

参数nfds是需要监视的最大的文件描述符值+1;

rdset,wrset,exset分别对应于需要检测的可读文件描述符的集合,可写文件描述符的集 合及异常文件描述符的集合。

struct timeval结构用于描述一段时间长度,如果在这个时间内,需要监视的描述符没有事件发生则函数返回,返回值为0。

下面的宏提供了处理这三种描述词组的方式:

FD_CLR(inr fd,fd_set* set);用来清除描述词组set中相关fd 的位

FD_ISSET(int fd,fd_set *set);用来测试描述词组set中相关fd 的位是否为真

FD_SET(int fd,fd_set*set);用来设置描述词组set中相关fd的位

FD_ZERO(fd_set *set);用来清除描述词组set的全部位

参数timeout为结构timeval,用来设置select()的等待时间,其结构定义如下:

如果参数timeout设为:

NULL:则表示select()没有timeout,select将一直被阻塞,直到某个文件描述符上发生了

事件。

0:仅检测描述符集合的状态,然后立即返回,并不等待外部事件的发生。

特定的时间值:如果在指定的时间段里没有事件发生,select将超时返回。

理解select模型:

理解select模型的关键在于理解fd_set,为说明方便,取fd_set长度为1字节,fd_set中的每一bit可以对应一个文件描述符fd。则1字节长的fd_set最大可以对应8个fd。

(1)执行fd_set set; FD_ZERO(&set);则set用位表示是0000,0000。

(2)若fd=5,执行FD_SET(fd,&set);后set变为0001,0000(第5位置为1)

(3)若再加入fd=2,fd=1,则set变为0001,0011

(4)执行select(6,&set,0,0,0)阻塞等待

(5)若fd=1,fd=2上都发生可读事件,则select返回,此时set变为0000,0011。注意:没有事件发生的fd=5被清空。

 基于上面的讨论,可以轻松得出select模型的特点:

  (1)可监控的文件描述符个数取决与sizeof(fd_set)的值。我这边服务 器上sizeof(fd_set)=512,每bit表示一个文件描述符,则我服务器上支持的最大文件描述符是512*8=4096。据说可调,另有说虽 然可调,但调整上限受于编译内核时的变量值。

  (2)将fd加入select监控集的同时,还要再使用一个数据结构array保存放到select监控集中的fd,一是用于再select 返回后,array作为源数据和fd_set进行FD_ISSET判断。二是select返回后会把以前加入的但并无事件发生的fd清空,则每次开始 select前都要重新从array取得fd逐一加入(FD_ZERO最先),扫描array的同时取得fd最大值maxfd,用于select的第一个 参数。

  (3)可见select模型必须在select前循环array(加fd,取maxfd),select返回后循环array

(FD_ISSET判断是否有时间发生)。

1>select使用事例,检测标准输入输出代码:

1 #include<stdio.h>>
  2 #include<unistd.h>
  3 #include<errno.h>
  4 #include<stdlib.h>
  5 #include<string.h>
  6 #include<sys/select.h>
  7 
  8 int main()
  9 {
 10    int std_in=0;//标准输入
 11    //int std_out=1;//标准输出
 12    int max_fd=0;
 13    struct timeval timeout={2,0};//超时
 14    fd_set reads;//定义文件描述符集
 15    //fd_set writes;
 16    FD_ZERO(&reads); //初始化 
 17    //FD_ZERO(&writes);   
 18    FD_SET(std_in,&reads);//站在应用程序的角度来看关心什么事件
 19    //FD_SET(std_out,&writes);
 20     while(1)
 21     {
 22       timeout.tv_sec=2;
 23       timeout.tv_usec=0;
 24       FD_ZERO(&reads); //重新设置 
 25      // FD_ZERO(&writes);   
 26       FD_SET(std_in,&reads);
 27       //FD_SET(std_out,&writes);
 28      switch(select((max_fd+1),&reads,NULL,NULL,&timeout))
 29      {
 30        case -1://biaoshichucuo
 31          perror("select");
 32          break;
 33        case 0://chaoshi
 34          printf("select timeout....\n");
 35          break;
 36        default://zhengchang
 37         {//panduanshuijiuxu
 38           if(FD_ISSET(std_in,&reads))
 39            {
 40               char buf[1024];
 41               memset(buf,‘\0‘,sizeof(buf));
 42               ssize_t size=read(std_in,buf,strlen(buf));
 43               if(size>0)//duquchenggong
 44                {
 45                   buf[size]=‘\0‘;
 46                   printf("%s\n",buf);
 47                }
 48             }
 49            // if(FD_ISSET(std_out,&writes))
 50             //{
 51               //   printf("hello\n");
 52 
 53            // }
 54          }
 55         break;
 56 
 57      }
 58     }
 59     return 0;
 60 }

程序中剥离write的事件,程序结果会打印过上timeout时间之后打印select timeout,

若将write放开,则会一直打印消息。因为写一直就绪。

2>select使用事例select编写网络服务器代码

 //select_server.c
 
  1 #include<stdio.h>
  2 #include<sys/select.h>
  3 #include<sys/socket.h>
  4 #include<errno.h>
  5 #include<string.h>
  6 #include<arpa/inet.h>
  7 #include<netinet/in.h>
  8 #include<stdlib.h>
  9 #include<sys/types.h>
 10 int fds[64];//yongshuzubaocunwenjianmaioshufuji
 11 static void usage(char* proc)
 12  {
 13     printf("usage: %s [ip] [port]",proc);
 14  }
 15 
 16 static int start(int port,char *ip)
 17 {
 18      int sock=socket(AF_INET,SOCK_STREAM,0);
 19      if(sock<0)
 20        {
 21          perror("socket");
 22          exit(1);
 23        }
 24       struct sockaddr_in local;
 25       local.sin_family=AF_INET;
 26       local.sin_port=htons(port);
 27       local.sin_addr.s_addr=inet_addr(ip);
 28      if(bind(sock,(struct sockaddr*)&local,sizeof(local))<0)
 29      {
 30          perror("bind");
 31          exit(1);
 32      }
 33     if(listen(sock,5)<0)
 34      {
 35         perror("listen");
 36         exit(1);
 37       }
 38     return sock;
 39 
 40 
 41 }
 42  int main(int argc,char*argv[])
 43 {
 44     if(argc!=3) 
 45       {
 46         usage(argv[0]);
 47         return 1;
 48        }
 49      int port=atoi(argv[2]);
 50      char* ip=argv[1];
 51      int listen_sock=start(port,ip);
 52      int new_sock=-1;
 53      struct sockaddr_in client;
 54      socklen_t len=sizeof(client);
 55      int max_fd=0;
 56      fd_set reads;//dingyiwenjianmiaoshufuji
 57      fd_set writes;
 58      FD_ZERO(&reads);
 59      FD_ZERO(&writes);
 60      FD_SET(listen_sock,&reads);
 61     struct timeval timeout={15,0};
 62     int fds_num=sizeof(fds)/sizeof(fds[0]);
 63     int i=0;
 64     for(;i<fds_num;++i)
 65        {
 66          fds[i]=-1;
 67        }
 68       fds[0]=listen_sock;
 69       max_fd=fds[0];
 70    while(1)
 71     {
 72       timeout.tv_sec=15;
 73       timeout.tv_usec=0;
 74       FD_ZERO(&reads);
 75       FD_ZERO(&writes);
 76       FD_SET(listen_sock,&reads);
 77 
 78      for(i=1;i<fds_num;++i)
 79       {
 80         if(fds[i]>0)
 81          {
 82             FD_SET(fds[i],&reads);
 83             if(fds[i]>max_fd)
 84               {
 85                max_fd=fds[i];
 86                }
 87           }
 88        }
 89       switch(select(max_fd+1,&reads,NULL,NULL,&timeout))
 90       {
 91          case -1:// 出错
 92           perror("select");
 93           break;
 94          case 0://超时
 95          printf("select timeout......\n");
 96          break;
 97          default://正常
 98           {
 99             for(i=0;i<fds_num;++i)
100              {//当为listen_sock
101                if(fds[i]==listen_sock&&FD_ISSET(fds[i],&reads))
102                  { //接收连接请求
103                     new_sock=accept(listen_sock,(struct sockaddr*)&client,&l    en);
104                    if(new_sock<0)
105                      {
106                        perror("accept");
107                        continue;
108                       }
109                      printf("get connect........\n");
110                     for(i=0;i<fds_num;++i)
111                       {
112                          if(fds[i]==-1)
113                             {
114                                fds[i]=new_sock;
115                                break;
116                              }
117                        }
118                       if(i==fds_num)
119                         {
120                           close(new_sock);
121                         }
122                   }
                       //break
123                   else if(fds[i]>0&&FD_ISSET(fds[i],&reads))
124                     {
125                        char buf[1024];
126                        memset(buf,‘\0‘,sizeof(buf));
127                        ssize_t size=read(fds[i],buf,sizeof(buf)-1);
128                        if(size>0)
129                        {
130                           buf[size]=‘\0‘;
131                           printf("client#: %s",buf);
132                           write(fds[i],buf,size);
133                        }
134                         else if(size==0)
135                          {
136                            close(fds[i]);
137                            fds[i]=-1;//取到文件描述符将其置为无效
138 
139                           }
140                       }
141                }
142            }
143             break;
144 
145          }
146   }
147    return 0;
148 }

//select_client.c
  1 #include<stdio.h>
  2 #include<sys/select.h>
  3 #include<sys/socket.h>
  4 #include<errno.h>
  5 #include<string.h>
  6 #include<arpa/inet.h>
  7 #include<netinet/in.h>
  8 #include<sys/types.h>
  9 #include<stdlib.h>
 10 
 11 //int fds[64];//yongshuzubaocunwenjianmaioshufuji
 12 static void usage(char* proc)
 13  {
 14     printf("usage: %s [ip] [port]",proc);
 15  }
 16 
 17 int main(int argc,char *argv[])
 18 {
 19  if(argc!=3)
 20       {
 21         usage(argv[0]);
 22         return 1;
 23        }
 24      int port=atoi(argv[2]);
 25      char* ip=argv[1];
 26     int sock=socket(AF_INET,SOCK_STREAM,0);
 27      if(sock<0)
 28       {
 29         perror("socket");
 30          exit(1);
 31        }
 32       struct sockaddr_in remote;
 33       remote.sin_family=AF_INET;
 34       remote.sin_port=htons(port);
 35       remote.sin_addr.s_addr=inet_addr(ip);
 36   int ret=connect(sock,(struct sockaddr*)&remote,sizeof(remote));
 37   if(ret<0)
 38   {
 39       perror("connect");
 40       exit(2);
 41   }
 42    char buf[1024];
 43  while(1)
 44  {
 45    memset(buf,‘\0‘,sizeof(buf));
 46    printf("please input: ");
 47    fflush(stdout);
 48    ssize_t s=read(0,buf,sizeof(buf)-1);
 49 
 50  if(s>0)
 51  { //回显消息
 52    write(sock,buf,strlen(buf));
 53    printf("server->client: %s\n",buf);
 54   }
 55   }
 56 
 57   return 0;
 58 }

程序结果:

select缺点:

(1)每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大

(2)同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大

(3)select支持的文件描述符数量太小了,默认是1024

时间: 2024-10-13 14:02:12

高级IO编程的相关文章

(十一) 一起学 Unix 环境高级编程 (APUE) 之 高级 IO

. . . . . 目录 (一) 一起学 Unix 环境高级编程 (APUE) 之 标准IO (二) 一起学 Unix 环境高级编程 (APUE) 之 文件 IO (三) 一起学 Unix 环境高级编程 (APUE) 之 文件和目录 (四) 一起学 Unix 环境高级编程 (APUE) 之 系统数据文件和信息 (五) 一起学 Unix 环境高级编程 (APUE) 之 进程环境 (六) 一起学 Unix 环境高级编程 (APUE) 之 进程控制 (七) 一起学 Unix 环境高级编程 (APUE)

《unix高级环境编程》终端 I/O——终端 IO 基本概述

终端基本概念 终端 IO 是一种字符型设备,终端特殊设备文件一般有以下几种: 串行端口终端:是使用计算机串行端口连接的设备,计算机把每个串行端口都看作是一个字符设备.串行端口所对应的设备名称 /dev/ttySn(n表示从0开始的整数): 伪终端:是成对的逻辑终端设备,例如 /dev/ptyp3 和/ dev/ttyp3(在设备文件系统中分别是 /dev/pty/m3 和/ dev/pty/s3 ),它们与实际物理设备并不直接相关: 控制终端:是当前进程的控制终端的设备特殊文件 /dev/tty

java之十 高级IO流

java.io定义的输入/输出类列于下表: ObjectInputStream.GetField和ObjectOutputStream.PutField是Java2新添的内部类. java.io包还包含两个不受java2欢迎的类,这两个类没有在上表中列出:LineNumberInputStream和StringBufferInputStream.新代码不应该使用两个类. 下面是由java.io定义的接口: FileFilter接口是Java2新增的. java.io包中有很多类和接口.包括字节和

[转]PHP并发IO编程之路(深度长文)

原文:https://www.imooc.com/article/8449 ------------------------------------------------------------------ PHP并发IO编程之路(深度长文) 原创 8235浏览 2016-05-30 16:31:54 小字号 并发IO问题一直是服务器端编程中的技术难题,从最早的同步阻塞直接Fork进程,到Worker进程池/线程池,到现在的异步IO.协程.PHP程序员因为有强大的LAMP框架,对这类底层方面的

Python IO编程——StringIO & BytesIO

1.1   StringIO & BytesIO 1.1.1   StringIO StringIO顾名思义就是在内存中读写str. 写StringIO >>> fromio import StringIO >>> f = StringIO() >>> f.write('hello') 5 >>> f.write(' ') 1 >>> f.write('world!') 6 >>> f.ge

IO编程——转自廖雪峰博客

IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口. 比如你打开浏览器,访问新浪首页,浏览器这个程序就需要通过网络IO获取新浪的网页.浏览器首先会发送数据给新浪服务器,告诉它我想要首页的HTML,这个动作是往外发数据,叫Output,随后新浪服务器把网页发过来,这个动作是从外面接收数据,叫Input.所以,通常,程序完成IO操作会有Input和Output两个数

ios学习记录 day44 UI20 Storyboard 高级可视化编程 + 单例

可视化编程 : 5.0之前 xib  5.0之后 Storyboard 注意事项:1.在AppDelegate中不用代码初始化一个window   2.在general  设置 Main Interface(创建的时候自动设置的) weak可以指向 但是没有拥有权   strong有拥有权 单例特性: 1.唯一性  创建的对象永远指向同一块内存地址     2.不释放   从打开程序到后台关闭 对象都不释放 单例安全:加锁@synchronized  防止同一块内存被创建两次,破坏唯一性 //单

python学习过程之IO编程

IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口. 由于CPU和内存的速度远远高于外设的速度,所以,在IO编程中,就存在速度严重不匹配的问题.两种处理方法同步IO和异步IO. 很明显,使用异步IO来编写程序性能会远远高于同步IO,但是异步IO的缺点是编程模型复杂,反正异步IO的复杂度远远高于同步IO. 操作IO的能力都是由操作系统提供的,每一种编程语

android 40 Io编程

Io编程:内存卡和sd卡.字符串存入内存卡然后读出来. activity: package com.sxt.day06_06; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingException; import and