MySQL InnoDB体系架构之内存

先上图

1.缓冲池

InnoDB存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。通常使用缓冲池来提高数据库的整体性能。缓冲池简单说就是一块内存,通过内存的速度弥补磁盘速度较慢对数据库性能的影响。在数据库中进行读操作时,首先将从磁盘读到的页存放在缓冲池中,下一次读取相同的页时,首先判定是否存在缓冲池中,如果有就是被命中直接读取,没有的话就从磁盘中读取。在数据库进行改操作时,首先缓冲池中的页,然后在以一定的频率刷新到磁盘上。这里的刷新机制不是每页在发生变更时触发。而是通过一种checkpoint机制刷新到磁盘的。可以通过innodb_buffer_pool_size(单位块)参数来设置缓冲池的大小。缓冲池中的数据库类型有:索引页、数据页、undo页、插入缓存页(insert
buffer)、自适应hash(adaptive hash index)、innodb存储的锁信息(lock info)、数据字典信息(data dictionary)。通过参数innodb_buffer_pool_instances设置允许有多个缓冲池实例,每个页根据哈希值平均分配到不同的实例中,以减少数据库内部资源的竞争,增加数据库的并发处理能力。

2.LRU List、Free List和Flush List

innoDB存储引擎的缓冲池是通过LRU算法来进行管理的,即最频繁使用的页在LRU列表(管理已经读取到的页)的前段,最少使用的页在LRU列表的尾端。缓冲池中每页大小16K。但是它对LRU算法做了一些优化,加入了midpoint位置。新获取的数据放入midpoint,而不是放入列表头部。通常midpoint在LRU列表的5/8处。可以通过innodb_old_blocks_pct参数来设置。把midpoint之后的列表称为old列表,之前的称为new列表。为什么在innoDB存储引擎采用midpoint呢?这是因为如直接将读取到的也放入LRU的首端,某些SQL操作导致缓冲池中的页被刷出,从而影响缓冲池的效率。可以通过参数innodb_old_blocks_time设置页读取到midpoint位置后需要等待多久才会加入LRU的new列表。

当数据库刚启动时,LRU列表是空的,这时所有的页都放在Free列表中的。当需要从缓冲池中分配页时,首先从Free列表中查看是否有空闲的空闲页,若有则从Free列表中删除然后加入到LRU列表中。否则根据LRU算法,淘汰LRU列表末尾的页,将该内存空间分配给新的页。当页从LRU的old部分加入到new部分,此时发生的操作是page made young,而因为innodb_old_blocks_time参数的设置导致页没有从old加入到new的操作称为page not made young。从InnoDB存储引擎1.0.X版本开始支持压缩页的功能。即将原来16K的页压缩为1K、2K、4K和8K,由于页的大小发生变化,LRU列表页有相应的变化,对于非16K的页时通过unzip_LRU列表进行维护。在LRU列表中的页被修改后,该页称为脏页(dirry
page),这时数据库通过checkpoint机制将脏页刷回磁盘。而Flush列表中的页就是脏页列表。脏页即存在于LRU列表页存在于Flush列表。LUR列表用来管理缓冲池中页的可用性,Flush列表用来管理将也刷回磁盘。可以通过show engine innodb status命令来查看LRU列表和Free列表的使用情况和运行状态。

由图可以看出:

Buffer pool size总共有8191个页(8191*16k);

Free buffers表示当前Free列表中的页的数量;

Datebase pages表示LRU列表中页的数量。可能Free buffers和Database pages之和不等于Buffer pool size。这是因为缓冲池中的也还可能会被分配给自适应哈希索引、lock信息、insert buffer等页。而这部分是不需要LRU算法维护的,因此不在LRU列表中。

page made young表示LRU列表中页移动到前段的次数。

Buffer pool hit rate表示缓冲池的命中率,该值不能小于95%。

LRU len表示LRU列表中有多少页。

unzip_LRU len表示压缩的页数;其中LRU len包含unzip_LRU len。Modified db pages表示当前脏页的数量。

还可以通过  information_schema.INNODB_BUFFER_PAGE_LRU表来观察LRU列表中每个页的具体信息。

3.重做日志缓冲(redo log buffer)

innoDB存储引擎首先将重做日志信息放入这个缓冲区,然后按照一定的频率将其刷入重做日志文件中。重做日志缓冲区一般不需要很多,只要保证每秒产生的事务量在这个缓冲大小之内即可。可以通过innodb_log_buffer_size参数设置大小。

4.额外的内存池

在innoDB存储引擎中,对内存的管理是通过一种称为内存堆(heap)的方式进行。在对一些数据结构本身的内存进行分配时,需要从额外的内存池中进行申请,当该区域的内存不够时,需要从缓冲池中申请。例如L:分配了缓冲池,但是每个缓冲池中的帧缓冲(frame buffer)还有对应的缓冲控制对象(buffer control block),这些记录了一些诸如LRU、锁、等待等信息,而这个对象的内存就需要从额外内存池中申请。因此在申请了很大的缓冲池是也要考虑相应增加这个值。

时间: 2024-10-31 19:41:47

MySQL InnoDB体系架构之内存的相关文章

InnoDB体系架构(二)内存

InnoDB体系架构(二)内存 上篇文章 InnoDB体系架构(一)后台线程 介绍了MySQL InnoDB存储引擎后台线程:Master Thread.IO Thread.Purge Thread.Page Cleaner Thread 四种. 这篇文章将介绍 InnoDB体系架构中的内存,主要有四小结分别为:缓冲池.缓冲池的管理.重做日志缓冲.额外内存缓冲. 以下图为InnoDB存储引擎的内存结构.   一.缓冲池 InnoDB存储引擎是基于磁盘存储的,按照页的方式进行管理的,理解为基于磁盘

InnoDb 体系架构和特性 (Innodb存储引擎读书笔记)

后台线程 Master Thread 核心后台线程,主要负责将缓冲池的数据异步刷新到磁盘.例如脏页的刷新,插入缓冲的合并,undo 页的回收等. 每秒一次的操作: 日志缓冲刷新到磁盘,即使该事务还没有提交.该操作总是会发生,这个就是为了再大的事务,提交时间都很短. 当IO压力很小时(1s内发生的IO次数小于5% innodb_io_capacity)合并5% innodb_io_capacity 的插入缓冲. 当脏页比例大于 innodb_max_dirty_pages_cnt, 刷新 inno

Innodb 体系架构

<Mysql技术内幕,Innodb存储引擎>--Innodb体系结构 InnoDB体系架构图如下: 一.后台线程简介: 1.Master ThreadMaster Thread 是一个非常核心的后台线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新.合并插入缓冲(INSERT BUFFER).回滚页(UNDO PAGE)的回收等. 2.IO Thread在InnoDB存储引擎中大量使用了AIO(Async IO)来处理IO请求,这样可以极大提高数据库的性能.而IO

InnoDB体系架构

Reference: https://time.geekbang.org/column/article/121710 InnoDB体系架构 InnoDB主要包括了内存池.后台线程以及存储文件. 内存池又是由多个内存块组成的,主要包括缓存磁盘数据.redo log缓冲等: 后台线程则包括了Master Thread.IO Thread以及Purge Thread等: 由InnoDB存储引擎实现的表的存储结构文件一般包括表结构文件(.frm).共享表空间文件(ibdata1).独占表空间文件(ibd

InnoDB体系架构(三)Checkpoint技术

Checkpoint技术 前篇 InnoDB体系架构(二)内存 从缓冲池.缓冲池的管理.重做日志缓冲.额外内存缓冲这四个点介绍了InnoDB存储引擎的内存结构,而在将缓冲池的数据刷新到磁盘的过程中使用到了Checkpoint技术,这篇文章我们着重讲解一下Checkpoint在内存中到应用. 一.Checkpoint使用背景 由于日常DML语句,如:Update / Delete操作首先操作了缓冲池的数据,并没有立即写入到磁盘,这有可能会导致内存中数据与磁盘中的数据产生不一致的情况.而与磁盘数据不

InnoDB体系架构(四)Master Thread工作方式

Master Thread工作方式 在前面的文章:InnoDB体系架构--后台线程 说到:InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成.这篇具体介绍该线程的具体实现及该线程可能存在的问题. 一.InnoDB1.0X版本之前的Master Thread Master Thread具有最高的线程优先级别,内部由多个循环组成:主循环(loop).后台循环(background loop).刷新循环(flush loop).暂停循环(suspend loop),

解析MySQL的体系架构及学习Mysql存储引擎MyISAM和InnoDB

mysql体系结构: 由:连接池组件.管理服务和工具组件.sql接口组件.查询分析器组件.优化器组件. 缓冲组件.插件式存储引擎.物理文件组成.mysql是独有的插件式体系结构,各个存储引擎有自己的特点. mysql各个存储引擎概述: (1) innodb存储引擎:[/color][/b] 面向oltp(online transaction processing).行锁.支持外键.非锁定读.默认采用repeaable级别(可重复读)通过next-keylocking策略避免幻读.插入缓冲.二次写

MySQL技术内幕 InnoDB存储引擎 之 InnoDB体系架构

后台线程 1.Master Thread 2.IO Thread 3.Purge Thread 4.Page Cleaner Thread  内存 重做日志在以下三种情况下将重做日志缓存中的内容刷新到外部磁盘的重做日志文件: Master Thread 每一秒将重做日志缓存刷新到重做日志文件: 每个事务提交时会将重做日志缓存刷新到重做日志文件: 当重做日志缓冲池剩余空间小于1/2时,重做日志缓冲刷新到重做日志文件: 原文地址:https://www.cnblogs.com/elontian/p/

MySQL InnoDB内存压力判断以及存在的疑问

本文出处:http://www.cnblogs.com/wy123/p/7259866.html(保留出处并非什么原创作品权利,本人拙作还远远达不到,仅仅是为了链接到原文,因为后续对可能存在的一些错误进行修正或补充,无他) 与其他数据一样,内存对数据库的性能有着至关重要的影响,MySQL InnoDB也一样通过内存来缓存数据,在访问数据的时候通过访问内存中缓存的数据来提高数据的访问效率.MySQL中通过show variables like 'Innodb_buffer_pool%'命令或者直接