1、文件管理系统
在大多数应用中,文件是一个核心成分,处理实时应用和一些特殊的应用外,应用程序的输入都是通过文件的形式来完成的,实际上,所有应用程序的输出都保存在文件中,这便于信息的长期存储,也便于用户将来通过应用程序访问信息。
数据或者文件归根结底是存储于物理内存空间上的,操作系统可以通过文件系统方便的管理磁盘上的文件,Linux的文件系统模型如下所示:
Linux文件系统模型
对于物理内存的访问都是同通过设备驱动程序来进行的,而对设备启动的访问则有两种途径:一种是通过设备驱动本身提供的接口;另一种是通过虚拟文件系统(Vitual File System,VFS)提供给上层应用程序的接口。第一种方式能够让用户进程绕过文件系统字节读写磁盘上的内容,但这个操作会带来极大的不稳定性,因此大部分操作系统包括linux都是使用虚拟文件系统来访问设备驱动的。只有在特殊情况下,才允许用户进程通过设备驱动接口直接访问物理磁盘。
VFS是虚拟的,不存在的,他和proc文件系统一样,都是只存在于内存而不存在于物理硬件中的,即只有在操作系统运行了以后才能存在,VFS提供的这一种机制可将各种不同的文件系统整合在一起,并提供统一的API接口供上层的引用程序使用。VFS的使用体现了Linux文件系统的最大特点——支持多种不同的文件系统,如XFS、EXT4、EXT3、EXT2、NFTS、VFAT等。
2、文件IO和标准IO
一、先来了解下什么是文件I/O和标准I/O:
文件I/O:文件I/O称之为不带缓存的IO(unbuffered I/O)。不带缓存指的是每个read,write都调用内核中的一个系统调用。也就是一般所说的低级I/O——操作系统提供的基本IO服务,与os绑定,特定于linix或unix平台。
标准I/O:标准I/O是ANSI C建立的一个标准I/O模型,是一个标准函数包和stdio.h头文件中的定义,具有一定的可移植性。标准I/O库处理很多细节。例如缓存分配,以优化长度执行I/O等。标准的I/O提供了三种类型的缓存。
(1)全缓存:当填满标准I/O缓存后才进行实际的I/O操作,对于读操作,直到读入的内容字节数等于缓冲区大小或者文件已经到达结尾,才进行实际的IO操作,将外存文件内容读入缓冲去;对于写操作,直到缓冲区被填满,才进行实际的IO操作,将缓冲区内容写到外存文件中。磁盘文件通常是全缓冲。
(2)行缓存:当输入或输出中遇到新行符时,才调用系统IO函数
(3)不带缓存:stderr就是了。
二、二者的区别
文件I/O 又称为低级磁盘I/O,遵循POSIX相关标准。任何兼容POSIX标准的操作系统上都支持文件I/O。
标准I/O被称为高级磁盘I/O,遵循ANSI C相关标准。只要开发环境中有标准I/O库,标准I/O就可以使用。(Linux 中使用的是GLIBC,它是标准C库的超集。不仅包含ANSI C中定义的函数,还包括POSIX标准中定义的函数。因此,Linux 下既可以使用标准I/O,也可以使用文件I/O)。
在实现对文件的操作上,两者具有显著的区别:
(1)标准I/O默认采用了缓冲机制,比如调用fopen函数,不仅打开一个文件,而且建立了一个缓冲区(读写模式下将建立两个缓冲区),还创建了一个包含文件和缓冲区相关数据的数据结构。低级I/O一般没有采用缓冲,需要自己创建缓冲区,不过其实在linix或unix系统中,都是有使用称为内核缓冲的技术用于提高效率,读写调用是在内核缓冲区和进程缓冲区之间进行的数据复制。
(2)从操作的设备上来区分,文件I/O主要针对文件操作,读写硬盘等,它操作的是文件描述符,标准I/O针对的是控制台,打印输出到屏幕等,它操作的是字符流。对于不同设备得特性不一样,必须有不同API访问才最高效。
三、两者下的函数
3、文件描述符
对于内核而言,所有打开的文件都得通过文件描述符引用。文件描述符本质上是一个非负整数,当打开一个现有文件或创建一个新文件时,内核向进程返回一个文件描述符,该文件描述符用于对文件进行读写操作。 在Linux系统中一切皆可以看成是文件,文件又可分为:普通文件、目录文件、链接文件和设备文件。文件描述符(file descriptor)是内核为了高效管理已被打开的文件所创建的索引,其是一个非负整数(通常是小整数),用于指代被打开的文件,所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候,0是标准输入,1是标准输出,2是标准错误。如果此时去打开一个新的文件,它的文件描述符会是3。在linux下建议使用符号常量STDIN_FILENO、STDOUT_FILENO、STDER_FILENO进行代替,提高程序可读性,这些常量通常定义在头文件<unistd.h>中。
标准文件描述符图如下:
文件打开与文件描述符之间的详细关系可以看博客http://blog.csdn.net/cywosp/article/details/38965239
4、流和FILE对象
文件IO主要是针对文件描述符的,而标准IO的操作主要是围绕流进行的,当用标准IO打开或创建一个文件时,就使得一个流与对应的文件相结合。标准IO函数fopen返回一个指向FILE对象的指针。当打开一个流时,标准IO函数fopen返回一个指向FILE对象的指针。该对象通常是一个结构,它包含了标准IO库为管理该流所需要的所有信息,包括:用于实际IO的文件描述符、指向用于该流缓冲区的指针、缓冲区的长度、当前在缓冲区中的字符数以及出错标志等等。
对于进程,预定了三个流,并且这三个流可以自动的被进程使用,他们是标准输入、标准输出和标准出错。