关于文件IO中缓冲区

一般打开并读取一个文件,传统方法就是两个系统调用:

int open (const char ‘*path‘, int ‘oflag‘, .../*,mode_t ‘mode‘ */);
ssize_t read(int fd, void *buf, size_t count);

这里 read 有一个 buf 缓冲区,这个是由你的应用程序控制的,在你的应用程序虚拟内存地址空间中,究竟是 堆,还是栈,这个看你声明 buf 时候是怎么做的。

不过,内核中,也会有一个缓冲区,这个你的应用程序是看不见的,当你读取时,内核会将数据放入自己的缓冲区,然后 copy 到用户态你程序的缓冲区中。这个东西,在内核叫做 buffer cache,由IO 子系统管理,对于 Unix 系统来说,一般会预留最多 10% 作为 buffer cache 使用。

如果你使用的是 mmap 方法,则会有:

void * mmap(void *addr, size_t len, int prot, int flags, int fd, off_t offset);

这一套过程与上面的 open/read 不同,是由内核分页子系统管理的,说白了,就是用虚拟内存调页的方式,将文件直接 map 到程序的地址空间中,这个 map 也是靠内核实现的,这东西叫做 page cache,你也知道虚拟内存限制少很多,可以 map 直到占用全部内存。

传统 read/write buffer cache 有个问题,就是一旦固定后,大小没法调节,这样分配多了就是浪费,分配少了就会造成很多的上下文切换做 copy 而且这个东西与分页系统割裂。所以后来就出现了 Unified Buffer Cache,统一用 Page Cache 解决以上问题。

  对于使用C语言标准IO函数,将文件抽象为 流 的概念,当打开一个流时,返回指向FILE对象的指针。该对象通常是一个结构,包括用于实际IO的文件描述符,指向用于该流缓冲区的指针,缓冲区的长度,当前在缓冲区的字符数和出错标志。

参考链接:
  https://www.zhihu.com/question/30868347/answer/49751213
  从文件 I/O 看 Linux 的虚拟文件系统

    http://www.ibm.com/developerworks/cn/linux/l-cn-vfs/index.html

  Linux 内核的文件 Cache 管理机制介绍

    http://www.ibm.com/developerworks/cn/linux/l-cache/

时间: 2024-12-28 12:58:10

关于文件IO中缓冲区的相关文章

Linux非阻塞IO(三)非阻塞IO中缓冲区Buffer的实现

本文我们来实现回射服务器的Buffer.   Buffer的实现   上节提到了非阻塞IO必须具备Buffer.再次将Buffer的设计描述一下: 这里必须补充一点,writeIndex指向空闲空间的第一个位置. 这里有三个重要的不变式: 1. 0 <= readIndex <= writeIndex <= BUFFER_SIZE 2. writeIndex – readIndex 为可以从buffer读取的字节数 3. BUFFER_SIZE – writeIndex 为buffer还

标准IO与文件IO 的区别【转】

本文转载自:http://blog.sina.com.cn/s/blog_63f31f3401013jrn.html 先来了解下什么是标准IO以及文件IO. 标准IO:标准I/O是ANSI C建立的一个标准I/O模型,是一个标准函数包和stdio.h头文件中的定义,具有一定的可移植性.标准IO库处理很多细节.例如缓存分配,以优化长度执行IO等.标准的IO提供了三种类型的缓存. (1)全缓存:当填满标准IO缓存后才进行实际的IO操作.         (2)行缓存:当输入或输出中遇到新行符时,标准

2019年7月26日星期五(文件IO)

一. 标准IO 1. 标准IO函数有什么特点? 标准IO函数都是封装在一个库中,这个库就是标准C库,标准C库头文件都是#include <stdio.h>,所以标准IO函数的头文件都是#include <stdio.h>,而且标准IO处理方式与系统IO不一样,读取/写入数据时,都有缓冲区. 2. 系统IO与标准IO作用对象? 系统IO对象  -> 硬件设备文件,例如: 访问LCD液晶,触摸屏,红外传感器,温湿度传感器.超声波传感器 标准IO对象  -> 普通文件,例如:

Linux中的文件IO

一.应用框架介绍     1.什么是应用编程 (1)典型的嵌入式产品就是基于嵌入式Linux操作系统来工作的.研发过程:第一步让Linux系统在硬件上跑起来(系统移植工作),第二步基于Linux系统来开发应用程序实现产品功能. (2)基于Linux去做应用编程,其实就是通过调用Linux的系统API来实现应用需要完成的任务. 2.什么是文件的IO 文件的input和output,就是读写文件. 二.文件操作的主要接口API 1.什么是操作系统API (1)API是一些函数,这些函数是有Linux

linux下的文件IO缓冲区,及其相关操作

linux下的文件IO操作 浅谈文件IO缓冲 Read()和write()函数在操作磁盘文件时不会直接发起磁盘访问,而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据. 当调用write()函数的写入3个字节的时候,由于系统调用与磁盘操作并不同步,在write()函数结束后续某个时刻,内核才会将其缓冲区中的数据写入磁盘.如果在此期间,另一个进程试图读取该文件的这几个字节,那么内核将自动从缓冲区高速缓存中提供这些数据,而不是文件中. 与此同理,对输入而言,内核从磁盘中读取数据并存储到内核缓冲

IO流的练习2 ——— 复制单级文件夹中的文件

需求:把C:\Users\Administrator\Desktop\记录\测试里面的所有文件复制到 C:\Users\Administrator\Desktop\新建文件夹\copy文件夹中 分析: A:封装目录 B:获取该目录下的所有文件的File数组 C:遍历该集合,得到每一个File对象 D:把每个File复制到目的文件夹中 1 public static void main(String[] args) throws IOException { 2 // 封装目录 3 File sta

第七篇:两个经典的文件IO程序示例

前言 本文分析两个经典的C++文件IO程序,提炼出其中文件IO的基本套路,留待日后查阅. 程序功能 程序一打印用户指定的所有文本文件,程序二向用户指定的所有文本文件中写入数据. 程序一代码及其注释 1 #include <iostream> 2 #include <fstream> // 使用文件处理对象记着要包含这个头文件 3 #include <string> 4 #include <vector> 5 6 using namespace std; 7

MySQL系列:innodb引擎分析之文件IO

innodb作为数据库引擎,自然少不了对文件的操作,在innodb中所有需要持久化的信息都需要文件操作,例如:表文件.重做日志文件.事务日志文件.备份归档文件等.innodb对文件IO操作可以是煞费苦心,其主要包括两方面,一个是对异步io的实现,一个是对文件操作管理和io调度的实现.在MySQL-5.6版本的innodb还加入了DIRECT IO实现.做了这么多无非是优化io操作的性能.在innodb的文件IO部分中,主要实现集中在os_file.*和fil0fil.*两个系列的文件当中,其中o

(一)一起学 APUE 之 文件 IO

. . . . . 最近在学习 APUE,所以顺便将每日所学记录下来,一方面为了巩固学习的知识,另一方面也为同样在学习APUE的童鞋们提供一份参考. 本系列博文均根据学习<UNIX环境高级编程>一书总结而来,如有错误请多多指教. APUE主要讨论了三部分内容:文件IO.并发.进程间通信. 文件IO: 标准IO:优点是可移植性高,缺点是性能比系统 IO 差,且功能没有系统 IO 丰富. 系统IO:因为是内核直接提供的系统调用函数,所以性能比标准 IO 高,但是可移植性比标准 IO 差. 并发: