文件系统的block 数据库中的block 以及内存中的page基础知识汇总(自己理解 可能有误)

1. 操作系统文件系统中的的block

文件系统中的block 是文件系统最小的读写单元,在HDD的磁盘时代, 一般block的大小可能与磁盘的扇区大小一致为 512bytes

也因为这个原因MBR启动的手 0磁道 0扇区的 512bytes 首先加载到内存, 先包含了 446byte的MBR启动信息, 还包含 64bytes 的磁盘分区信息 所以MBR的磁盘格式只支持4个主分区 并且大小仅能够扩展到2TB

后来使用GPT分区的模式可以扩充使用2TB大小以上的磁盘.

操作系统的文件簇大小 可以与扇区大小也可以是扇区大小的整数倍

比较常见的SSD 一般是4kB的扇区大小 所以就有一个SSD操作系统盘的 4k对齐问题(Win7 MBR的情况)

单个文件系统的block 仅能够分给一个文件, 不能同时被两个文件持有, 所以如果文件block较大的情况下会造成磁盘空间的大量浪费

但是如果文件系统的block太小的话 又会影响一定的IO性能.

2. 数据库中的block

oracle与sqlserver针对最小的数据库的读写单元的命名不一样

oracle跟操作系统一般 将最小的读写单元写为block sqlserver的叫做page

他们的大小与操作系统相关 一般为操作系统文件系统的block的整数倍

比如一般的windows系统的文件簇是4kB 的话 oracle与 sqlserver的基本的block的大小就是8kB

sqlserver的page中有page head 和 业内偏移量等信息内容, 单个page 是 8192bytes 一般可用来存数据的部分是 8060byte 其余的 132 byte 用来存储头和偏移量

Oracle的block 在dbca创建数据库时可以指定, 也是操作系统的整数倍 11g 以上的版本一般默认都是 8kB 可以调整为更大的情况

数据库的单次IO 会抓取一个block中的内容填充到SGA区域中(direct path read 应该是读取到PGA区域中)

oracle数据库 多个block 组成extent区域 oracle应该 以extent为最小的逻辑分配单元 给schema分配存储区域

extent 在11g 最开始增加了延迟短创建的特性, 创建完没有insert数据时 是不进行extent段的创建的

extent在首次创建时好像只包含8个block 也就是 64kB大小

当扩展到一定程度到达16个extent 时 也就是1MB 大小时 可能会默认每次分配1MB 的区域给这个用户

Oracle为了提高extent的扩展性能这一块做过很多优化处理

Oracle只是块级别的并发 行级锁 好像就是可以同时处理一个extent区域内的block记录 提高并发响应性能.

3. 内存页面.

现代操作系统处理的都是虚拟内存, 由硬件底层或者是其他方式进行虚拟内存与物理内存的映射处理.

在不启用大页的情况下x86的操作系统不管是windows还是linux很多现在常用的版本的单个内存页面的大小都是4KB 大小了,

为了加快内存的访问速度, CPU 访问内存一般通过多级缓存来进行,

这里面可以有一个微观的认识:

光速是30万千米没小时在一个3GHZ的CPU 的一个cycle内 光可以走10cm 感觉此处可能会限制CPU 做到特别大面积的可能.

CPU访问寄存器 应该是在一个1cycle内来解决,时间是0.5ns以内

CPU 访问内存的延迟要高一些,可能达到十几个cycle 总体时间可能要12ns左右

CPU 完成获取内存地址以及从内存中取数可能会耗时超过100ns

从硬盘中取数 加上磁盘寻道以及数据获取大概要耗时10ms以上, 此时看到内存中的速度要比硬盘中快十万倍 但是比CPU 寄存器取数也要慢100-200倍

CPU为了加快内存取数 内存寻址部分尽量没有通过内存获取 而是通过寄存器或者是一二三级缓存来实现

寄存器的名字是TLB TLB 里面应该是存储了 64位地址长的部分 因为一个内存页面是4KB 所以 需要有12内的页内偏移量来一个位标识一个bytes内的内容 除了12位偏移量的部分 来标识页的位置

现在应该是段页式内存管理, 但是操作系统的课程没学好, 这一段内容一致没理解透彻.

因为TLB 的总体大小有限,所以TLB中进行虚拟地址到物理地址的转换总是会出现TLB miss 所以可以增加page entry的方式来缩减 页表项目 我理解为增加地址中页内偏移量的大小来减少内存中的页数,保证TLB的hits命中率来提高性能

Linux里面大页的处理 应该/proc/meminfo 信息中包含hugepage的字段 即可视为支持大页.

我对windows的段页式内存管理 一直没有理解好(其实深入的内容都不理解...!-_-!).

一个IO操作可能涉及的点是非常多的. 以上只是自己简单的理解 非常不全面.

时间: 2024-10-10 07:05:32

文件系统的block 数据库中的block 以及内存中的page基础知识汇总(自己理解 可能有误)的相关文章

数据库的应用——直接从内存中读取osg节点 (转)

数据库的应用——直接从内存中读取osg节点 目的:要从数据库中读取节点数据到osg. 一开始的方法是这样的,每当我要添加一个数据库中的节点数据时,首先把它读取到内存中,然后写入一个文件,最后再次从文件中用osg的osgDB::readNodeFile()读取,这个方法是可行的,但是却很糟糕.我的初衷是不要经过文件转换. 现在问题解决了,多亏了osg::ReaderWriter提供一个虚函数: virtual ReadResult  readNode (std::istream &, const

python中对象初始化放在内存中什么位置

截屏自<Python源码剖析>正文第一页. 也即: 当在其他class中使用 时,node是在堆中的.相当于在C中调用malloc. 不仅仅是对于像Node这样的class 的对象是存在于堆中的,在Python中就连int类型的数值同样是存在在堆中的.因为在Python中就连基本数据类型同样是对象. 让我们思考下Node中的value和self.value这两个变量: 为什么在Node中其他的方法能够调用self.value而不能够调用value? 以前我使用C/C++的思维方法来理解这个问题

java中静态变量在内存中的位置

java程序在内存中的存储分配情况: 一.堆区: 1.存储的全部是对象,每个对象都包含一个与之对应的class的信息.(class的目的是得到操作指令) 2.jvm只有一个堆区(heap)被所有线程共享,堆中不存放基本类型和对象引用,只存放对象本身 栈区: 1.每个线程包含一个栈区,栈中只保存基础数据类型的对象和自定义对象的引用(不是对象),对象都存放在堆区中 2.每个栈中的数据(原始类型和对象引用)都是私有的,其他栈不能访问. 3.栈分为3个部分:基本类型变量区.执行环境上下文.操作指令区(存

JavaScript中的变量在内存中的具体存储形式

栈内存和堆内存 JavaScript中的变量分为基本类型和引用类型 基本类型是保存在栈内存中的简单数据段,它们的值都有固定的大小,保存在栈空间,通过按值访问 引用类型是保存在堆内存中的对象,值大小不固定,栈内存中存放的该对象的访问地址指向堆内存中的对象,JavaScript不允许直接访问堆内存中的位置,因此操作对象时,实际操作对象的引用 结合代码与图来理解 let a1 = 0; // 栈内存let a2 = "this is string" // 栈内存let a3 = null;

数据库基础知识汇总

五个基本的关系代数操作 并.差.笛卡尔积.选择.投影 数据库语言四大类 DQL(Data Query Language):数据库查询语言. DDL(Data Definition Language):数据库定义语言.定义关系模式.删除关系.修改关系模式. 关系.属性 DML(Data Manipulation Language):数据库操纵语言.插入元组.删除元组.修改元组. 元组 DCL(Data Control Language):数据库控制语言.用来授权或回收访问数据库的某种特权,并控制数

oracle数据库基础知识汇总—30天(二)

1.新建数据库实例 ORA-OO922:选项缺失或无效:用户名和密码设置不合规,当时不会报错,安装时就会出现这个错误 标识符命名规则:1.必须以字母开始.2.长度不能超过30个单字节字符.3.只能包括A-Z,a-z,0-9,_,$和#.4.不能在相同用户下建立两个同名的对象.5.不能使用保留字和关键字 在同一台机器上,可以同时启动多个数据库实例. SQL语句分类: DML数据操作语句(insert,update,delete):DDL 数据定交语句(create table,drop table

JS中的事件类型和事件属性的基础知识

周末无聊, 这几天又复习了下JS搞基程序设计3, 想着好记性不如浪笔头哇, 要么把这些东西写下来, 这样基础才能更加扎实么么哒, 知道的同学也可以直接过一下,当做复习,  小姨子再也不用担心我的学习啦: 从哪里开始呢?????? ??????? 事件的类型 DOM3规定了下面这几事件类型: UI事件:onload,resize,scoll等等; 焦点事件: 鼠标事件: 滚轮事件: 文本事件: 键盘事件: 变动事件:(用的也少): 变动名称事件,当元素的属性名发生改变的时候触发(没啥用, 要弄编辑

js中eval,arguments与异常处理的用法-基础知识总结------彭记(017)

eval的使用: <script> /*eval的作用: * 1.将字符串当成js代码来执行 * 2.可以将json格式的字符串转换为js对象*/ /*eval("var age = 30;"); console.log(age); eval("alert(123)"); var va = eval("1+1"); console.log(va);*/ //({"name":"rose",&qu

打印出C# 中float ,double 在内存中的存放形式

1 float floatA = 2.2f; 2 uint a = BitConverter.ToUInt32(BitConverter.GetBytes(floatA), 0); 3 for (int i = 0; i < 32;++i ) 4 { 5 uint temp = 0x80000000 & (a << i); 6 if (temp==0) 7 { 8 Console.Write("0 "); 9 } 10 else 11 { 12 Console