InnoDB体系架构(四)Master Thread工作方式

Master Thread工作方式

  在前面的文章:InnoDB体系架构——后台线程 说到:InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成。这篇具体介绍该线程的具体实现及该线程可能存在的问题。

一、InnoDB1.0X版本之前的Master Thread

  Master Thread具有最高的线程优先级别,内部由多个循环组成:主循环(loop)、后台循环(background loop)、刷新循环(flush loop)、暂停循环(suspend loop),Master Thread会根据数据库运行的状态进行循环之间的切换。

  Loop主循环(大多数操作都在这个循环下)这个由两大部分操作,每秒和每10秒操作:

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        do thing once per second
        sleep 1 second if necessary
    }
    do things once per then seconds
    goto loop;
}

  可以发现,loop循环是通过thread sleep来实现的,意味着每秒或者每10每秒的操作并不是十分的精确的,在负载大的情况下,可能会有不同程度的延迟(delay)。

  每秒一次的操作包括:

1. 日志缓冲刷新到磁盘(总是):即使事务没有提交,InnoDB也会每秒将重做日志缓冲刷新到重做日志文件中,因此可以理解为什么再大的事务提交,时间也是很短的。

2. 合并插入缓冲insert buffer(可能):并不是每秒刷新的,如果前一秒的IO次数小于5,则认为IO压力小,可以执行合并插入缓冲的操作。

3. 最多刷新100个InnoDB的缓冲池脏页到磁盘(可能):判断当前缓冲池中脏页的比例(buf_get_modifyed_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90)如果超过了这个阈值,InnoDB存储引擎认为需要做同步操作,将100个脏页写入磁盘中。

4. 如果当前没有用户活动,切换到background loop(可能)

  每10秒的操作:

1. 刷新100个脏页到磁盘(可能)

2. 合并至多5个插入缓冲(总是)

3. 将日志缓冲刷新到磁盘(总是)

4. 删除无用的undo页(总是):InnoDB存储引擎会执行full purse操作,即删除无用的Undo页,对表进行update、delete这类操作,原先行被标记删除,但是因为一致性读读关系,需要保留这些行的版本号,这时候会进行回收删除。

5. 刷新100个或者10个脏页到磁盘(总是)

  接着来看background loop 若当前没有用户活动(数据库空闲时)或者数据库关闭(shutdown),就会切换到这个循环执行以下操作:

1. 删除无用的undo页(总是)

2. 合并20个插入缓冲(总是)

3. 跳回到主循环(总是)

4. 不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成):如果fulsh loop 页没有什么事情可以做了,InnoDB存储引擎会切换到suspend loop,将Master Thread刮起。

二、InnoDB1.2.X之前的版本的Master Thread

  在如今磁盘技术的快速发展中,对于缓冲池向磁盘刷新时都做了一定的hard coding,这些限制很大程度上限制了InnoDB存储引擎对磁盘IO的性能,尤其是写入性能。

  因此提供参数innodb_io_capacity用来表示IO的吞吐量,默认200,对于刷新到磁盘页的数量,会按照innodb_io_capacity的百分比来控制:

    在合并插入缓冲时,合并插入缓冲的数量为innodb_io_capacity值5%;

    在从缓冲池刷新脏页时,刷行脏页的数量为innodb_io_capcity;

  通过以下为代码,我们可以得到InnoDB1.2X前Master Thread的工作方式:

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        thread_sleep(1)    // sleep 1秒
        do log buffer flush to dish

        if (last_one_second_ios < 5% innodb_io_capacity) {
            do merget 5% innodb_io_capacity insert buffer
        }

        if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {  // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
            do buffer pool flush 100% innodb_io_capacity dirty page  // 刷新全部脏页到磁盘
        } else if (enable adaptive flush) {    // 如果开户了自适应刷新
            do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
        }

        if (no user activetuy) {
            goto background loop
        }
    }

    if (last_ten_second_ios < innodb_io_capacity) {  // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值(默认是200)
        do buffer pool flush 100%  innodb_io_capacity dirty page
    }

    do merge 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%(10)(总是)
    do log buffer flush to dish
    do flush purge

    if (buf_get_modified_ratio_pct > 70%) {
        do buffer pool flush 100% innodb_io_capacity dirty page
    } else {
        do buffer pool flush 10% innodb_io_capacity dirty page
    }
    goto loop

    backgroud loop:   // 后台循环
    do full purge     // 删除无用的undo页 (总是)
    do merger 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%(10)(总是)
    if not idle:      // 如果不空闲,就跳回主循环,如果空闲就跳入flush loop
    goto loop:    // 跳到主循环
    else:
        goto flush loop
    flush loop:  // 刷新循环
    do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘
    if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值(默认75%)
        goto flush loop            // 跳到刷新循环,不断刷新脏页,直到符合条件
        goto suspend loop          // 完成刷新脏页的任务后,跳入suspend loop
    suspend loop:
    suspend_thread()               //master线程挂起,等待事件发生
    waiting event
    goto loop;
}

三、InnoDB1.2.x版本的Master Thread

if (InnoDB is idle) {
    srv_master_do_idle_tasks();    // 每10秒操作
} else {
    srv_master_do_active_tasks();    // 每秒操作
}

原文地址:https://www.cnblogs.com/wilburxu/p/8644939.html

时间: 2024-11-10 09:44:50

InnoDB体系架构(四)Master Thread工作方式的相关文章

Innodb 体系架构

<Mysql技术内幕,Innodb存储引擎>--Innodb体系结构 InnoDB体系架构图如下: 一.后台线程简介: 1.Master ThreadMaster Thread 是一个非常核心的后台线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新.合并插入缓冲(INSERT BUFFER).回滚页(UNDO PAGE)的回收等. 2.IO Thread在InnoDB存储引擎中大量使用了AIO(Async IO)来处理IO请求,这样可以极大提高数据库的性能.而IO

InnoDB体系架构(三)Checkpoint技术

Checkpoint技术 前篇 InnoDB体系架构(二)内存 从缓冲池.缓冲池的管理.重做日志缓冲.额外内存缓冲这四个点介绍了InnoDB存储引擎的内存结构,而在将缓冲池的数据刷新到磁盘的过程中使用到了Checkpoint技术,这篇文章我们着重讲解一下Checkpoint在内存中到应用. 一.Checkpoint使用背景 由于日常DML语句,如:Update / Delete操作首先操作了缓冲池的数据,并没有立即写入到磁盘,这有可能会导致内存中数据与磁盘中的数据产生不一致的情况.而与磁盘数据不

InnoDb 体系架构和特性 (Innodb存储引擎读书笔记)

后台线程 Master Thread 核心后台线程,主要负责将缓冲池的数据异步刷新到磁盘.例如脏页的刷新,插入缓冲的合并,undo 页的回收等. 每秒一次的操作: 日志缓冲刷新到磁盘,即使该事务还没有提交.该操作总是会发生,这个就是为了再大的事务,提交时间都很短. 当IO压力很小时(1s内发生的IO次数小于5% innodb_io_capacity)合并5% innodb_io_capacity 的插入缓冲. 当脏页比例大于 innodb_max_dirty_pages_cnt, 刷新 inno

InnoDB体系架构(二)内存

InnoDB体系架构(二)内存 上篇文章 InnoDB体系架构(一)后台线程 介绍了MySQL InnoDB存储引擎后台线程:Master Thread.IO Thread.Purge Thread.Page Cleaner Thread 四种. 这篇文章将介绍 InnoDB体系架构中的内存,主要有四小结分别为:缓冲池.缓冲池的管理.重做日志缓冲.额外内存缓冲. 以下图为InnoDB存储引擎的内存结构.   一.缓冲池 InnoDB存储引擎是基于磁盘存储的,按照页的方式进行管理的,理解为基于磁盘

InnoDB体系架构

Reference: https://time.geekbang.org/column/article/121710 InnoDB体系架构 InnoDB主要包括了内存池.后台线程以及存储文件. 内存池又是由多个内存块组成的,主要包括缓存磁盘数据.redo log缓冲等: 后台线程则包括了Master Thread.IO Thread以及Purge Thread等: 由InnoDB存储引擎实现的表的存储结构文件一般包括表结构文件(.frm).共享表空间文件(ibdata1).独占表空间文件(ibd

InnoDB master thread工作原理

我们简单交流下InnoDB master thread学习,有兴趣的朋友可以参考<<MySQL技术内蒙--InnoDB存储引擎第二版>> void master_thread(){ goto loop; loop: for (int i=0;i<10;i++){ thread_sleep(1) //sleep 1 second-->每秒执行操作(负载在情况下会延迟) do log buffer flush to disk //重做日志缓冲刷新到磁盘,即使这个事务没有提交

InnoDB存储引擎之Master Thread

InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成的. 1.InnoDB 1.0.x版本之前的Master Thread Master Thread具有最高的线程优先级别.其内部由多个循环组成:主循环(loop).后台循环(backgroup loop).刷新循环(flush loop).暂停循环(suspend loop).Master Thread会根据数据库运行的状态在上述4状态下进行切换.Loop被称为主循环,因为大多数的操作是在这个循环中,其中有两大

36 网络标准体系架构;37 WEB 工作过程

36 网络标准体系架构 定义 B/S: Browser/Server: 使用标准的规则(标准的浏览器,HTTP,)Apache, IIS,Tomcat, Ngix,  Lighttp C/S: Client/Server: 不一定需要标准,不想B/S 一样有标准:Client 不需要,Server 也不需要:各自按照各自需求配置即可::举例:QQ, 微信:OUTLOOK P2P: Point to Point, 点对点,两点之间是平等的地位,功能完全相同:而C/S, B/S, 各端只能做各自的事

MySQL技术内幕 InnoDB存储引擎 之 InnoDB体系架构

后台线程 1.Master Thread 2.IO Thread 3.Purge Thread 4.Page Cleaner Thread  内存 重做日志在以下三种情况下将重做日志缓存中的内容刷新到外部磁盘的重做日志文件: Master Thread 每一秒将重做日志缓存刷新到重做日志文件: 每个事务提交时会将重做日志缓存刷新到重做日志文件: 当重做日志缓冲池剩余空间小于1/2时,重做日志缓冲刷新到重做日志文件: 原文地址:https://www.cnblogs.com/elontian/p/