(笔记)Linux内核学习(十一)之I/O层和I/O调度机制

一 块I/O基本概念

字符设备:按照字符流的方式被有序访问的设备。如串口、键盘等。

块设备:系统中不能随机(不需要按顺序)访问固定大小的数据片(chunk 块)的设备。

    如:硬盘、软盘、CD-ROM驱动器、闪存等。都是通过以安装文件系统的方式使用。

块设备的组成:

扇区:是块设备中最小的可寻址单元(常见大小512字节);是块设备的基本寻址和操作单元。

块:是文件系统最小逻辑可寻址单元,文件系统的抽象,只能通过块访问文件系统。通常包含多个扇区。

  当一个块被调入内存时(读入后或等待写出时),它要存储在一个缓冲区中;每个缓冲区与一个块对应,

缓冲区相当于是磁盘块在内存中的表示;块大小不超过一个页面,一个页可以容纳一个或多个内存中的块。

缓冲区:是内核操作块设备的逻辑单元,每个缓冲区需要一个描述符来表示块的控相关制信息。

数据结构:缓冲区头 buffer_head,内核操作I/O块基本容器是:bio。操作内核中所有的缓冲区对应的I/O块。

请求队列:块设备将他们挂起的块I/O请求保存在请求队列中。

二 I/O调度机制

简单的以内核产生I/O请求的次序直接将请求发向块设备,造成性能将难以接受。因为磁盘寻址是整个计算机中

最慢的操作之一,每一次寻址定位硬盘磁头到特定块上某个位置需要花费不少时间;要提高I/O操作性能,尽量缩短磁盘寻址时间。

在提交请求到块设备前,内核需要对请求进行处理:先执行合并与排序的预操作——I/O调度机制子系统,负责I/O请求的提交。

I/O调度程序管理块设备的请求队列,决定队列中的请求排列顺序,何时派发请求到设备。以减少磁盘寻址时间,提高全局吞吐量。

其实现的方法是合并与排序:

合并:将两个或多个请求结合成一个新的请求,比如访问磁盘扇区相邻时,合并为一个对单个和多个相邻磁盘扇区操作的新请求。

   合并后仅需要一次请求一条寻址命令。

排序:没有相邻操作扇区请求时,但可能是比较接近的;将整个请求队列按扇区增长方向有序排列,操作时保持磁头以直线一个

     方向移动,缩短请求磁盘寻址时间。

三 调度程序实现

1 Linus Elevator

当一个请求加入到队列时:

如果队列已存在一个对相邻磁盘扇区操作的请求,将新请求和这个已存在的请求合并成一个请求。

如果队列中存在一个驻留时间过长的请求,将新请求插入到队列尾部,防止请求发生饥饿。

如果队列中以扇区方向为序存在合适插入位置,将新请求插入到该位置,与被访问磁盘物理位置为序排列。

如果队列不存在合适位置插入,将请求插入到队列尾部。

2 最终期限I/O调度程序

Linus Elevator调度程序存在使请求发生饥饿的情况:

  l  对某个磁盘区域繁重操作,使得磁盘其他位置上的操作请求得不到运行;

  l  同一位置顺序上的请求流可以造成较远位置请求得不到运行;

  l  写操作和提交应用程序是异步执行,读操作和提交应用程序是同步执行会阻塞,读操作响应时间影响性能。

要在提高全局吞吐量和使请求得到公平处理之间进行平衡。

最终期限I/O调度程序中:每个请求都有一个超时时间,读请求默认500毫秒,写请求5秒。

提交请求时:

  一个请求递交给排序队列,按照合并和排序插入队列;

  将读请求按次序插入到读FIFO队列中;

  将写请求按次序插入到写FIFO队列中;

派发请求时:

  通常从排序队列中取队首请求加入到派发队列中;

  如果写FIFO队列首或读FIFO队列首请求超时,调度程序从FIFO队列中提取队首请求加入到派发队列中。

如下图所示:

  

    

此方式能尽量保证:

  请求超时前得到执行,防止请求发生饥饿;

  读请求超时时间比写请求短很多,保证写请求不会因为堵塞读请求而使读请求发生饥饿。

3 预测I/O调度程序

  最终期限调度程序降低请求发生饥饿的概率,同时降低了系统吞吐量。预测I/O调度程序的目标就是在保持

良好读响应同时提供良好的全局吞吐量。

  预测I/O调度程序与最终期限调度程序不同之处:请求提交后并不直接放回处理其他请求,而是会空闲片刻(6毫秒),

使应用程序有提交其他请求的机会——任何对相邻磁盘位置的操作请求都会立刻得到处理,等待结束后,预测I/O调度程序

重新返回原来的位置,继续执行以前的剩下请求。

  预测I/O调度程序所能带来的优势取决于能否正确预测应用程序和文件系统的行为,需要启发和统计工作,预测准确能够

减少寻址开销,提高系统响应,提高吞吐量。

还有其他调度程序:完全公正的排队I/O调度程序(每个进程独立I/O请求队列)和空操作I/O调度程序(相邻合并)

 

要在提高全局吞吐量和使请求得到公平处理之间进行平衡。

系统调度程序再启动时可以进行配置。

时间: 2024-10-07 02:10:57

(笔记)Linux内核学习(十一)之I/O层和I/O调度机制的相关文章

(笔记)Linux内核学习(九)之内核内存管理方式

一 页 内核把物理页作为内存管理的基本单位:内存管理单元(MMU)把虚拟地址转换为物理 地址,通常以页为单位进行处理.MMU以页大小为单位来管理系统中的也表. 32位系统:页大小4KB 64位系统:页大小8KB 内核用相应的数据结构表示系统中的每个物理页: <linux/mm_types.h> struct page {} 内核通过这样的数据结构管理系统中所有的页,因此内核判断一个页是否空闲,谁有拥有这个页 ,拥有者可能是:用户空间进程.动态分配的内核数据.静态内核代码.页高速缓存-- 系统中

(笔记)Linux内核学习(三)之进程调度

进程调度: 在可运行态进程之间分配有限处理器时间资源的内核子系统. 一 调度策略 1 进程类型 I/O消耗型进程:大部分时间用来提交I/O请求或是等待I/O请求,经常处于可运行状态,但运行时间短,等待请求过程时处于阻塞状态.如交互式程序. 处理器消耗型进程:时间大都用在执行代码上,除非被抢占否则一直不停的运行. 综合型:既是I/O消耗型又是处理器消耗型. 调度策略要在:进程响应迅速(响应时间短)和最大系统利用率(高吞吐量)之间寻找平衡. 2 调度概念 优先级:基于进程价值和对处理器时间需求进行进

(笔记)Linux内核学习(十)之虚拟文件系统概念

虚拟文件系统 虚拟文件系统:内核子系统VFS,VFS是内核中文件系统的抽象层,为用户空间提供文件系统相关接口: 通过虚拟文件系统,程序可以利用标准Linux文件系统调用在不同的文件系统中进行交互和操作. VFS作为抽象层: 文件系统被安装在一个特定的安装点上,该安装点在全局层次结构中被称作命名空间, 所有的已安装文件系统都作为根文件系统树的枝叶出现在系统中. 文件系统主要的对象: 超级块对象:代表一个已安装文件系统:struct super_block {} 索引节点对象:代表一个文件:stru

(笔记)Linux内核学习(七)之内核同步机制和实现方式

一 原子操作 指令以原子的方式执行--执行过程不被打断. 1 原子整数操作 原子操作函数接收的操作数类型--atomic_t //定义 atomic_t v;//初始化 atomic_t u = ATOMIC_INIT(0); //操作 atomic_set(&v,4); // v = 4 atomic_add(2,&v); // v = v + 2 = 6 atomic_inc(&v); // v = v + 1 = 7 //实现原子操作函数实现 static inline vo

(笔记)Linux内核学习(八)之定时器和时间管理

一 内核中的时间观念 内核在硬件的帮助下计算和管理时间.硬件为内核提供一个系统定时器用以计算流逝的时间.系 统定时器以某种频率自行触发,产生时钟中断,进入内核时钟中断处理程序中进行处理. 墙上时间和系统运行时间根据时钟间隔来计算. 利用时间中断周期执行的工作: 更新系统运行时间: 更新实际时间: 在smp系统上,均衡调度程序中各处理器上运行队列: 检查当前进程是否用尽了时间片,重新进行调度: 运行超时的动态定时器: 更新资源消耗和处理器时间的统计值: 二 节拍率 系统定时器的频率:通过静态预处理

(笔记)Linux内核学习(六)之并发和同步概念

一 临界区和竞争条件 临界区:访问和操作共享数据的代码段. 竞争条件:多个执行线程处于同一个临界区中. 处于竞争条件:造成访问的数据或者资源不一致状态: 对资源i的访问:ProcessA和B访问后得到正确的结果应该是9: 进程是并发执行,有可能得到的结果是:8 防止这种情况的发生:保证对资源的访问原子操作. 二 加锁 锁:采用原子操作实现,原子操作不存在竞争. 造成并发原因: l  中断:随时可以打断当前执行的进程代码: l  软中断和tasklet:任何时刻能唤醒调度软中断和tasklet,打

Linux内核学习-进程

先说几个术语: 一.Linux进程的五个段 下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区都是干什么的.重点:代码段.数据段.堆栈段,这是一个概念堆.栈.全局区.常量区,这是另一个概念1)代码段:代码段是用来存放可执行文件的操作指令,也就是说是它是可执行程序在内存中的镜像.代码段需要防止在运行时被非法修改,所以只准许读取操作,而不允许写入(修改)操作--它是不可写的.代码段(code segment/text segment)通常是指用来存放程序执行代码的一块内存区域.这部分

Linux 内核学习的经典书籍及途径

from:http://www.zhihu.com/question/19606660 知乎 Linux 内核学习的经典书籍及途径?修改 修改 写补充说明 举报 添加评论 分享 • 邀请回答 按票数排序按时间排序 18 个回答 什么是答案总结? 答案总结 修改 赞同78 反对,不会显示你的姓名 时成,Emacser 收起 源潮.蒋凌.高益达 等人赞同 说说我们以前的培训经验.先看Unix内核相关的书籍,了解内核的经典实现方法,然后再结合源码去研究Linux内核.这样做的原因是避免从一开始就陷入细

Linux内核学习总结

李泽源 原创作品 转载请注明出处 <Linux内核分析>MOOC课程:http://mooc.study.163.com/course/USTC-1000029000 [Linux内核学习总结] 幸福来得很突然,这门课就快结束了…… 是时候,总结下这段时间的坚持了,也给同样对Linux内核有兴趣的你一个指南. 在这门课的学习过程中,按照老师的要求,每次课后都写一篇博文,这是一个很好的学习方式.每当写这些文章的时候,总是要多看几遍视频,再查查相关的资料,才能勉强凑成一个完整的文档:同时也把自己学