Linux系统编程之IO_缓冲和非缓冲

  下面是一段类似日志记录的代码,已获取通讯的报文内容和当时的环境参数内容,就是创建一个文件,使用标准IO的fopen、fprintf进行输出记录。但是在调试中,刚开始我就傻眼了,文件创建成功了,但是实时查看竟然没有任何数据记录。经过半天的担惊受怕和反复排查,发现是被标准IO的缓冲机制摆了一道,惭愧呀。。。

  代码转自http://blog.csdn.net/mr_chenping/article/details/9166937

  下面给出一个示例程序,模拟我的项目程序:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <fcntl.h>
int main()
{
        FILE* fp=NULL;
        const char *filename_1="test_fprintf.log";
        const char *filename_2="test_write.log";
        int fd;
        fp = fopen(filename_1, "wb");
        if(fp == NULL)
        {
                printf("open %s failed, %s\n", filename_1, strerror(errno));
                return -1;
        }
        //setbuf(fp, NULL);
        //设置NULL为标准IO自动分配
        //设置_IONBF为不对IO进行缓冲
        //setvbuf(fp, NULL, _IONBF, 0);
        fd = open(filename_2, O_WRONLY|O_CREAT|O_EXCL, 0666);
        if(fd < 0)
        {
                printf("open %s failed, %s\n", filename_2, strerror(errno));
                return -1;
        }
        while(1)
        {
                fprintf(fp, "test fprintf.\n");
                fprintf(fp, "-------test fprintf.\n");
                fprintf(fp, "=======test fprintf.\n");
                //可以进行刷新,强制将全缓冲区数据传递到内核高速缓冲区中
                //有内核完成写磁盘操作
                //fflush(fp);
                write(fd, "test open.\n", sizeof("test open.\n"));
                write(fd, "--------test open.\n", sizeof("--------test open.\n"));
                write(fd, "--------test open.\n", sizeof("--------test open.\n"));
                sleep(1);
        }
        return 0;
}                                                

  后台运行上面的示例程序,然后实时查看两个日志文件,会发现testfrpintf.log文件一开始一直都是空的,而testwrite.log则是不断有数据写入,如下状态: 

  我当时就是奇怪为什么文件会是空的。可以看出标准IO会缓冲4096Bytes的数据,当达到这么多数据时才会进行实际的磁盘写入,而系统调用write则是直接写入,不进行缓冲。

  标准IO库提供缓冲的目的是尽可能减少使用read和write调用的次数,降低执行IO的时间,它提供三种类型的缓冲:

  1. 全缓冲。在填满标准IO缓冲区4096Bytes后(缓冲区已满)才进行实际IO操作(通过write系统调用,将数据传递到内核高速缓冲区,最终内核将数据写入磁盘),对于磁盘文件通常就是全缓冲,上面的示例就是采用缓冲。
  2. 行缓冲。在输入和输出中遇到换行符时(缓冲区已满)进行实际的IO操作(通过write系统调用,将数据传递到内核高速缓冲区,最终内核将数据写入磁盘),当涉及到一个终端时,通常使用行缓冲。使用最频繁的printf函数就是采用行缓冲,所以感觉不出缓冲的存在。
  3. 不带缓冲。标准IO库不对字符进行缓冲存储。标准出错流stderr通常是不带缓冲的。

  ISO C要求下列缓冲特征:

  • 当且仅当标准输入和标准输出并不涉及交互式设备时,它们才是全缓冲的。
  • 标准出错决不会是全缓冲。

  很多系统默认使用下列类型的缓冲:

  • 标准出错是不带缓冲的。
  • 如若是涉及终端设备的其它流,则他们是行缓冲的;否则是全缓冲的。

  当然,对于标准IO流,我们也可以更改缓冲类型,或者是直接刷新。ISO C中提供下面两个函数以更改缓冲类型:

void setbuf(FILE *fp, char *buf); //buf为NULL,表示关闭缓冲
int setvbuf(FILE *fp, char *buf, int mode, size_t size); //成功返回0,出错返回非0值

  setvbuf函数中的mode参数可以为:_IOBUF 全缓冲, _IOLBF 行缓冲, _IONBF 不带缓冲,如果buf为NULL, 则标准IO库将自动地为该流分配适当长度(常量BUFSIZ)的缓冲区。一般而言,应由系统选择缓冲区的长度,并自动分配缓冲区,这样关闭流时,标准IO库将自动释放缓冲区。

  强制冲洗一个流,使用函数:

int fflush(FILE *fp); //成功返回0, 出错返回EOF

  项目中我是使用这个函数解决郁闷的。

 fflush(NULL); //冲洗所有输出流

  补充一下知识点:

  read()和write()系统调用在操作磁盘文件时不会直接发起磁盘请求,而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。例如下面调用将3个字节的数据从用户空间内存传递到内核空间的缓冲区中。

  write(fd,"abc",3);

  write()随机返回。在后续某个时刻,内核会将其缓冲区中的数据写入(刷新至)磁盘。(因此,可以说系统调用与磁盘操作并不同步)

  与此同理,对输入而言,内核从磁盘中读取数据并存储到内核缓冲区中。read()调用将从该缓冲区中读取数据,直至把缓冲区中的数据读完,这时,内核会将文件的下一段内容读入缓冲区高速缓存。

  这样设计,使得read()和write()很快,不需要等待(缓慢的)磁盘操作。同时,这一设计也极为高效,因为这减少了内核必须执行的磁盘传输次数。(预读和满写)

  两句话:

  1.read()和write()负责在用户空间缓冲区和内核高速缓冲区高速缓存复制数据。

  2.内核负责从磁盘读数据到内核高速缓冲区(预读),以及当内核高速缓冲区满了,写到磁盘中去(满写)。

  总结一下:

  自上而下,首先是通过stdio库将用户数据传递到stdio缓冲区(一般是4096Bytes,或者也可以有标准IO自动分配),该缓冲区位于用户态内存区。当缓冲区满时(行缓冲遇到‘\n‘,全缓冲满4096Bytes),stdio库会调用write()系统调用,将数据传递到内核高速缓冲区(位于内核态内存区)。最终,内核发起磁盘操作,将数据传递到磁盘。

  使用fflush()强制刷新stdio缓冲区(通过write()调用),将数据传递到内核高速缓冲区中。

  fsync() syn()系统调用将使缓冲数据和与打开文件描述符fd相关的所有元数据都刷新到磁盘上。

  首先要明白不带缓冲的概念:所谓不带缓冲,并不是指内核不提供缓冲,而是只单纯的系统调用,不是函数库的调用。系统内核对磁盘的读写都会提供一个块缓冲,当用write函数对其写数据时,直接调用系统调用,将数据写入到块缓冲进行排队,当块缓冲达到一定的量时,才会把数据写入磁盘。因此所谓的不带缓冲的I/O是指进程不提供缓冲功能。每调用一次write或read函数,直接系统调用。
  而带缓冲的I/O是指进程对输入输出流进行了改进,提供了一个流缓冲,当用fwrite函数网磁盘写数据时,先把数据写入流缓冲区中,当达到一定条件,比如流缓冲区满了,或刷新流缓冲,这时候才会把数据一次送往内核提供的块缓冲,再经块缓冲写入磁盘。
  因此,带缓冲的I/O在往磁盘写入相同的数据量时,会比不带缓冲的I/O调用系统调用的次数要少。

  最后,以一幅图总结一下。

                    

时间: 2024-12-16 14:58:20

Linux系统编程之IO_缓冲和非缓冲的相关文章

LINUX系统编程之IPC

LINUX系统编程之IPC(Inter Processes Communication) 一.信号 1.信号的产生 软件中断,异步通信,ctrl+c,kill函数,kill命令,硬件异常(段错误),软件异常 2.进程收到信号后可以用如下方法处理: 执行系统默认动作(终止),忽略此信号,执行自定义信号处理函数. 3.信号操作函数 kill(), alarm(), raise(), abort(), pause() typedef void (*sighandler_t)(int);signal()

linux系统编程之I/O内核数据结构

文件在内核中是用三种数据结构进行表示的 (1)文件描述符表:文件描述符表是一个结构体数组,数组的下标就是open函数返回的文件描述符. 文件描述符表的每一个记录有两个字段   *文件描述符标志 * 文件表项指针 (2)文件表项:一般含有一下内容 * 文件状体标志,读,写,追加,同步,阻塞,非阻塞等 * 当前文件偏移量 * i节点指针 * 引用计数 (3)i节点:一般含有一下记录 * 文件类型 * 对该文件的操作函数的指针 * 当前文件的长度 *文件的所有者 * 文件的权限 * 指向文件数据在磁盘

linux系统编程之lseek帮助文档

通过man 2 lseek可以查看linux中的系统函数lseek函数的帮助文档,为了更好的学习,我把这些重要内容翻译过来 1 NAME 2 lseek - reposition read/write file offset//重置读或写文件的偏移量 3 4 SYNOPSIS//摘要 5 #include <sys/types.h>//如果要使用lseek函数,需要包含这两个头文件 6 #include <unistd.h> 7 8 off_t lseek(int fd, off_

Linux下基于文件描述符的文件操作(非缓冲)

1 文件描述符 内核为每个进程维护一个已打开文件的记录表(实现为结构体数组),文件描述符是一个较小的正整数(0-1023)(结构体数组下标),它代表记录表的一项,通过文件描述符和一组基于文件描述符的文件操作函数,就可以实现对文件的读.写.创建.删除等操作. 常用基于文件描述符的函数有open(打开).creat(创建).close(关闭).read(读取).write(写入).ftruncate(改变文件大小).lseek(定位).fsync(同步).fstat(获取文件状态).fchmod(权

Linux设备驱动中的阻塞和非阻塞I/O

[基本概念] 1.阻塞 阻塞操作是指在执行设备操作时,托不能获得资源,则挂起进程直到满足操作所需的条件后再进行操作.被挂起的进程进入休眠状态(不占用cpu资源),从调度器的运行队列转移到等待队列,直到条件满足. 2.非阻塞 非阻塞操作是指在进行设备操作是,若操作条件不满足并不会挂起,而是直接返回或重新查询(一直占用CPU资源)直到操作条件满足为止. 当用户空间的应用程序调用read(),write()等方法时,若设备的资源不能被获取,而用户又希望以阻塞的方式来访问设备,驱动程序应当在设备驱动层的

Linux环境编程之IPC进程间通信(五):Posix消息队列1

对于管道和FIFO来说,必须应该先有读取者存在,否则先有写入者是没有意义的.而消息队列则不同,它是一个消息链表,有足够写权限的线程可往别的队列中放置消息,有足够读权限的线程可从队列中取走消息.每个消息都是一个记录,它由发送者赋予一个优先级.在某个进程往一个队列写入消息之前,并不需要另外某个进程在该队列上等待消息的到达.消息队列是随内核的持续性,一个进程可以往某个队列写入一些消息,然后终止,再让另外一个进程在以后的某个时刻读出这些消息.这跟管道和FIFO不一样,当一个管道或FIFO的最后一次关闭时

Linux环境编程之IPC进程间通信(四):管道和FIFO比较

系统加于管道和FIFO的唯一限制是: 1.OPEN_MAX 一个进程在任意时刻打开的最大描述符数.可以通过调用sysconf函数查询. 2.PIPE_BUF 可原子地写往一个管道或FIFO的最大数据量.Posix任务它是一个路径名变量,它的值可以随指定的路径名而变化,因为不同的路径名可以落在不同文件系统上,而这些文件系统可能有不同的特征.所以PIPE_BUF可通过pathconf函数取得. pipeconf.c #include <stdio.h> #include <stdlib.h&

Linux系统启动流程之(3)系统故障修复之二

Linux系统启动流程之(3)系统故障修复之二 通过上一篇可以了解如何来重新安装grub从而修复grub引导,那么如果损坏的不仅仅为grub引导,如果还出现了其它更为严重的问题呢.下面几个案例来说明: 案例一: 通常系统服务运行之前会运行init程序来开启第一个进程,那么如果init被删除呢? #删除或者移动init程序到别处 [[email protected] ~]# which init /sbin/init [[email protected] ~]# mv /sbin/init /te

缓存io和非缓冲io

首先,先稍微了解系统调用的概念: 系统调用,英文名system call,每个操作系统都在内核里有一些内建的函数库,这些函数可以用来完成一些系统系统调用把应用程序的请求传给内核,调用相应的的内核函数完成所需的处理,将处理结果返回给应用程序,如果没有系统调用和内核函数,用户将不能编写大型应用程序,及别的功能,这些函数集合起来就叫做程序接口或应用编程接口(Application Programming Interface,API),我们要在这个系统上编写各种应用程序,就是通过这个API接口来调用系统