SQLServer存储引擎——内存

SQLServer存储引擎之内存篇:

  (1)SQL SERVER 内存结构

         

SQL SERVER 内存结构简图

  SQL SERVER 内存空间主要可分为两部分:

  

  (1.1)可执行代码(Executable Code)

   主要包括SQL SERVER 实例中的一些EXE和DLL文件

  (0)SQL SERVER 引擎(SQL SERVER ENGINE),SQL SERVER 数据库的主程序;

  (1)服务端网络库(SERVER NET-LIBRARY),用于与客户端网络库通讯,将TDS包交给开放数据服务(OPEN DATA SERVICES),关于SQL SERVER访问的内容会在《SQL SERVER 体系架构》中作介绍;

  (2)开放数据服务(OPEN DATA SERVICES),用于将TDS包中的SQL 语句还原,交给关系引擎,关于关系引擎的内容会在《SQL SERVER 关系引擎》中作介绍;

  (3)分布式查询(DISTRIBUTED QUERIES),用于支持从异构数据源中访问数据(也包括从SQL SERVER到SQL SERVER),这里加载访问异构数据源的OLE DB PROVIDER;

  (4)扩展存储过程(EXTENDED STORED PROCEDURES),在后续版本中将彻底用CLR集成来取代扩展存储过程;

  (5)OLE自动化(OLE AUTOMATION),用于SQL SERVER引用OLE自动化对象,事实上也是扩展存储过程,单独列出只是因为其功能特殊性;

  (1.2)、缓冲池(Buffer Pool)

  (0)系统级数据结构(SYSTEM-LEVEL DATA STRUCTURES),数据实例上的全局信息,包括数据库描述、锁、正在引用的对象及数据库等;

  (1)连接上下文(CONNECTION CONTEXT),有点类似WEB应用程序中SESSION的概念,包含当前数据库连接及状态,存储过程的参数、游标的当前位置、所引用的表等;

  (2)过程缓存(PROCEDURE CACHE),所有存储过程或SQL语句的执行计划,如果SQL语句存在相应的执行计划,则直接使用该执行计划,无须再次编译SQL语句。性能计数器PLAN CACHE中的缓存命中率(CACHE HIT RATIO)就是指的这里。

  (3)数据缓存(DATA CACHE), 用于数据库数据或索引页的读写,性能计数器BUFFER MANAGER中的缓存命中率(BUFFER CACHE HIT RATIO)就是指的这里。在物理内存充足的情况下,通常这个值会高于90%乃至更高,只有很少的数据页需要去物理读,如果低于90%可能是需要扩展物理内存了;

  (4)日志缓存(LOG CACHE),用于数据库日志页的读写,每一次的DML都会在这里生成相应的REDO日志操作,如果回滚事务的话,还会根据REDO日志生成相应的反向REDO日志;

  只有过程缓存、数据缓存、日志缓存的大小是由SQL SERVER根据性能需要动态管理的,而其他内存空间则是随着用户请求的发起在变化。

  (2)SQL SERVER内存管理

  (2.1)进程地址空间

进程地址空间结构图

    (0)VAS(Virtual Address Space):进程地址空间或者叫虚拟地址空间,也即是内存寻址空间,32位的CPU与操作系统(以下简称32系统),寻址空间为2的32次方,即4G;

    (1)3GB:32位WINDOWS系统上4G的寻址空间,应用程序只有2G的访问权(即用户模拟地址空间),剩下的2G留给操作系统自己(即内核模拟地址空间),通过打开3GB选项,可以让应用程序寻址3G的地址空间;

    (2)PAE(Physical Addressing Extensions):物理地址扩展,将32位WINDOWS系统的寻址空间提升到2的36次方,即64G,AWE(Address Windows Extension)是地址窗口扩展插件或者叫API,应用程序可以通过AWE使用PAE的地址空间(先打开操作系统的PAE,再实现应用程序的AWE);

  (2.2)SQL SERVER内存管理

    (0)SQL SERVER的缓冲池统一以8k作为内存块大小,大于8k的大内存块是被独立管理的,从缓冲池外通过操作系统直接分配;

    (1)AWE内存只能用于数据缓存,其他内存组件是无法使用AWE内存的;

    (2)锁定内存页(Lock Pages In Memory),将这个操作系统策略指定给启动SQL SERVER服务的用户,以阻止SQL SERVER从物理内存到page file的交换。在打开AWE时,对于除local system以外的SQL Server服务启动用户,必须要显式分配lock pages in memory的权限;

    (3)SQL SERVER随着用户连接和请求的增加,会不断去获取物理内存,直至达到目标内存(TARGET MEMORY)和最大服务器内存(MAX SERVER MEMORY)中较小的一个。如果SQL SERVER服务器上操作系统没有自由内存,或其他应用程序有内存压力存在,SQL SERVER会调整其目标内存大小,也会释放物理内存,但不会释放到低于最小服务器内存(MIN SERVER MEMORY);如果没有其他内存压力,SQL SERVER在繁忙时获取的内存不会在空闲时主动释放。

--------------------------------------------------------------------------------------  

原文转自:http://qianzhang.blog.51cto.com/317608/1217346

--------------------------------------------------------------------------------------

时间: 2024-11-01 10:48:24

SQLServer存储引擎——内存的相关文章

SQLServer存储引擎——日志

3. SQLServer存储引擎之日志篇 (3.1)日志结构 (3.1.1)物理日志 (0)物理日志即数据库的.ldf文件, 当然后缀名是可以自定义的,默认是.ldf (1)一个SqlServer数据库,可以定义多个物理日志文件,SQL Server逻辑上把他们当作一个整体,顺序写入日志记录,用完第一个,再用下一个:即第一个日志文件的当前空间,如果没有可分配的VLF时,就会使用下一个日志文件的VLF,直到最后一个日志文件也没有可分配的VLF时,会重新回到第一个日志开始增长:VLF的使用如下图:

SQLServer存储引擎——索引的结构和分类

5. SQLServer存储引擎——索引的结构和分类 关系型数据库中以二维表来表达关系模型,表中的数据以页的形式存储在磁盘上,在SQL SERVER中,数据页是磁盘上8k的连续空间,那么,一个表的所有数据页在磁盘上是如何组织的呢?分两种情况: 一是数据页间无序.随机地存储在磁盘上,这样的表叫做堆表(表上无聚集索引): 二是数据页间按某个表字段的值有序地存储在磁盘上,这样的表做索引组织表(表上有聚集索引). 索引是什么?从物理结构上可分为两种:聚集索引和非聚集索引.将表中的数据有序地组织起来的索引

Galera集群server.cnf参数调整--Innodb存储引擎内存相关参数(一)

在innodb引擎中,内存的组成主要有三部分:缓冲池(buffer pool),重做日志缓存(redo log buffer),额外的内存池(additional memory pool). [参数1:innodb_buffer_pool_size] 主要用来缓存innodb表的索引.数据,是插入数据时的缓冲. /*Innodb存储引擎的缓存机制和Myisam最大的区别就在于他不紧可以缓存索引,还会缓存实际的数据.所以相同的物理环境,Innodb对磁盘IO的优化会优于Myisam.*/ 当系统上

SQLServer存储引擎——06.索引的遍历与维护

一.遍历 索引树的每个节点都是一个页面. 索引树有三种类型的节点:根节点.中间节点.叶子节点. (1) 根节点与中间节点一样,只包含下一层节点的入口值与入口指针,它们称为索引节点: (2) 叶子节点包含要遍历的数据,对聚集索引而言数据就是表中数据行,对非聚集索引数据是指索引列值和行书签. 索引的遍历总是从根节点开始,即先根遍历,分为两种:索引扫描和索引查找. (1) 索引扫描,是指从索引树的根节点开始,对叶子节点逐个扫描,直至命中所有满足查找条件的数据: (2) 索引查找,是指从索引树的根节点开

存储引擎

mysql存储引擎 1.3.1.innodb存储引擎,特点支持外键.行锁.非锁定读(默认情况下读取不会产生锁).mysql-4.1开始支持每个innodb引擎的表单独放到一个表空间里.innodb通过使用MVCC来获取高并发性,并且实现sql标准的4种隔离级别,同时使用一种被称成next-key locking的策略来避免换读(phantom)现象.除此之外innodb引擎还提供了插入缓存(insert buffer).二次写(double write).自适应哈西索引(adaptive has

Innodb 存储引擎

Innodb体系结构 单进程,多线程模式. 一块innodb内存池+多个后台线程,管理着innodb存储引擎. 1. 后台线程 10个IO线程 1个master thread 1个lock监控线程 1个错误监控线程 IO线程相关配置参数 innodb_file_io_threads innodb_read_io_threads innodb_write_io_threads 2. 内存 innodb存储引擎内存由一下几个部分组成 缓冲池 重做日志缓冲池 额外的内存池 参数 innodb_buff

Mysql技术内幕——InnoDB存储引擎

一.mysql体系结构和存储引擎 1.1.数据库和实例的区别 数据库:物理操作系统或其他形式文件类型的集合.在mysql下数据库文件可以是frm,myd,myi,ibd结尾的文件. 数据库实例:由数据库后台进程/线程以及一个共享内存区组成.数据库实例才是真正用来操作数据库文件的. mysql数据库是单进程多线程的程序,与sql server比较类似.也就是说,Mysql数据库实例在系统上的表现就是一个进程. 1.2.mysql的体系结构 mysql由连接池组件.管理服务和工具组件.sql接口组建

MySQL Study案例之--MySQL体系和存储引擎

MySql Study案例之--MySql体系和存储引擎 1.数据库和实例     数据库:物理操作系统文件或其他形式文件类型的集合.在MySQL中,数据库文件可以是frm.myd.myi.ibd结尾的文件.当使用NDB引擎时,数据库文件可能不是操作系统上的文件,而是存放与内存之中的文件,但是定义仍然不变.      数据库实例:由数据库后台进程/线程以及一个共享内存区组成.共享内存可以被运行的后台进程/线程所共享.需要牢记的是,数据库实例才是真正用来操作数据库文件的. 在MySQL中,实例和数

MySQL InnoDB 存储引擎探秘

在MySQL中InnoDB属于存储引擎层,并以插件的形式集成在数据库中.从MySQL5.5.8开始,InnoDB成为其默认的存储引擎.InnoDB存储引擎支持事务.其设计目标主要是面向OLTP的应用,主要特点有:支持事务.行锁设计支持高并发.外键支持.自动崩溃恢复.聚簇索引的方式组织表结构等. 体系架构 InnoDB存储引擎是由内存池.后台线程.磁盘存储三大部分组成. 线程 InnoDB 使用的是多线程模型, 其后台有多个不同的线程负责处理不同的任务 Master Thread Master T