MySQL后台线程的清理工作

后台清理工作:脏页刷盘、undo回收

  1、page cleaner thread:刷新脏页

  2、purge thread:清空undo页、清理“deleted”page

一、innodb_page_cleaners

  page cleaner线程从buffer pool中刷脏页的线程数量。

1、5.7新特性

  1、5.6版本以前,脏页的清理工作交由master线程的;

  2、Page cleaner thread是5.6.2引入的一个新线程(单线程),从master线程中卸下buffer pool刷脏页的工作独立出来的线程(默认是启一个线程);

  3、5.7开始支持多线程刷脏页;

2、发起脏页的写请求

  清理因为触发需要脏页回收的脏页(脏很久了、冷脏页……)

3、如何调整这个参数

mysql> show variables like ‘i%cleaners‘;
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| innodb_page_cleaners | 1     |
+----------------------+-------+
1 row in set (0.05 sec)

  1、配置文件my.cnf中添加innodb_page_cleaners=num值

  2、默认是1;最大可以是64,也就是会有64个page cleaner线程并发工作清理脏页

4、如何判断是否要修改增加innodb_page_cleaners

mysql> show global status like ‘%wait_free‘;
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| Innodb_buffer_pool_wait_free | 0     |
+------------------------------+-------+
1 row in set (0.01 sec)

  Innodb_buffer_pool_wait_free:标志着脏页有没有成为系统的性能瓶颈;如果值很大,则需要增加innodb_page_cleaners值,同时增加写线程。

  1、通常,对于buffer pool的写发生在后台,当innodb需要读或创建一个数据页,但是没有干净的可用页,innodb就会为等待的操作能完成先将一些脏页刷入磁盘。

  2、Innodb_buffer_pool_wait_free就是这等待操作的实例数。如果innodb_buffer_pool_size的大小设置适当,这个值就会很小,甚至为0。

二、innodb_purge_threads

  purge线程,后台线程,致力于innodb清理,资源回收操作。

1、清理操作

  1、清理undo页

    undo记录修改前的数据用于回滚,已提交的时候,不再回滚,即可清理该undo信息。

  2、清理page里面的有“deleted”标签的数据行

    1、当我们delete数据行时,是对数据页中要删除的数据行做标记“deleted”,事务提交(速度快);

    2、后台线程purge线程对数据页中有“deleted”标签的数据行进行真正的删除。

2、调整依据

  1、系统存在大量的delete、对主键的update

mysql> show global status like ‘%rows%d%ted‘;
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| Innodb_rows_deleted | 0     |
| Innodb_rows_updated | 5     |
+---------------------+-------+
2 rows in set (0.01 sec)

  2、mysql> show engine innodb status \G

Trx id counter 1159171  #事务计数
Purge done for trx‘s n:o < 1157813  #事务清空位置
    #1159171-1157813表示有待清空的事务量

undo n:o < 0  #当前清理事务undo位置
state: running but idle  #启动但是闲置
History list length 1029  #当前undo数据页的总量1029*16K

3、调整:innodb_purge_threads默认值是1,OLTP系统一般会修改为4

mysql> show variables like ‘%purge_t%‘;
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| innodb_purge_threads | 4     |
+----------------------+-------+
1 row in set (0.01 sec)
时间: 2024-10-05 10:01:14

MySQL后台线程的清理工作的相关文章

MySQL后台线程整理总结

本文整理自<MySQL技术内幕 InnoDB存储引擎> MySQL通过后台各种线程.内存池.文件交互来实现对外服务的,不同线程实现不同的资源操作,各个线程相互协助,共同来完成数据库的服务.以下简单总结MySQL的一些后台线程以及主要作用,以及innodb引擎的变化升级情况. 整体上看,MySQL的后台线程概括如下,分为master thread,IO thread,purge thread,page cleaner thread 这其中,Master Thread是MySQL的最核心的线程,其

MySQL InnoDB后台线程threads详解

master thread 核心的后台线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新.合并插入缓冲.undo页的回收等.Master thread在主循环中,分两大部分操作,每秒钟的操作和每10秒钟的操作:每秒一次的操作包括:1.日志缓冲刷新到磁盘,即使这个事务还没有提交(总是),这点解释了为什么再大的事务commit时都很快:2.合并插入缓冲(可能),合并插入并不是每秒都发生,InnoDB会判断当前一秒内发生的IO次数是否小于5,如果是,则系统认为当前的IO压力

Thrift第六课 连接中断无法正常清理工作线程

1)继承TServerEventHandler类,获取连接用户的基本信息包括IP和端口,从而监控是否保存有没有清除的连接 TServerEventHandler类提供了用户连接和断开的时候,针对套接字的处理方式,其中提供了两个函数 createContext 当一个新的用户连接的时候会被调用 deleteContext 当用户结束请求处理的时候会被调用 详细的流程可以查看TThreadPoolServer::Task,Task作为TThreadPoolServer的内部类,在Task::run函

InnoDB存储引擎——后台线程

1.InnoDB存储引擎概述 InnoDB存储引擎是第一个完整支持ACID事务的MySql存储引擎,其特点是行锁设计.支持MVCC.支持外键.提供一致性非锁定读,同时被设计用来最有效地利用以及使用CPU和内存. 2.InnoDB体系结构 上图是InnoDB存储引擎的体系结构,可以看到InnoDB存储引擎有很多内存块,这些内存块组成了一个大的内存池,负责如下工作: 维护所有进程/线程需要访问的多个内部数据结构: 缓存磁盘上的数据,方便快速地读取,同时在对磁盘文件的数据修改之前在这里缓存. 重做日志

后台线程,优先级,sleep,yield

1.后台线程,是指在程序运行的时候在后台提供一种通用服务的线程,并且这种线程并不属于程序中不可获取的部分.当所有非后台线程结束时,程序也就 终止了,同时会杀死进程中所有后台线程.main()是一个非后台线程 设置后台线程:必须在启动线程之前调用setDaemon(true) 2.通过setPriority修改优先级,注意,优先级较低的线程仅仅是执行的频率较低 3.yield让步,例如,当你的工作已经做完,可以让其他的线程使用cpu,通过调用yield()方法.当调用此方法时,也只是在建议具有相同

Java多线程之线程结束清理

该事例说明了清理工作必须要放在finally块中 package Thread.Interrupting; import java.util.concurrent.TimeUnit; class NeedsCleanup { private final int id; public NeedsCleanup(int ident) { id = ident; System.out.println("NeedsCleanup " + id); } public void cleanup()

InnoDB的后台线程和内存

InnoDB有多个内存块,你可以认为这些内存块组成了一个大的内存池,负责如下工作: 维护所有进程/线程需要访问的多个内部数据结构. 缓存磁盘上的数据,方便快速地读取,并且在对磁盘文件的数据进行修改之前在这里缓存. 重做日志(redo log)缓冲. .......... 后台线程的主要作用是负责刷新内存池中的数据,保证缓冲池中的内存缓存的是最近的数据.此外,将已修改的数据文件刷新到磁盘文件,同时保证在数据库发生异常情况下InnoDB能恢复到正常运行状态. 后台线程 由于Oracle是多进程的架构

【转载】Android中UI线程与后台线程交互设计的5种方法

原帖地址:http://www.cr173.com/html/19165_1.html 在android的设计思想中,为了确保用户顺滑的操作体验.一些耗时的任务不能够在UI线程中运行,像访问网络就属于这类任务.因此我们必须要重新开启一个后台线程运行这些任务.然而,往往这些任务最终又会直接或者间接的需要访问和控制UI控件.例如访问网络获取数据,然后需要将这些数据处理显示出来.就出现了上面所说的情况.原本这是在正常不过的现象了,但是android规定除了UI线程外,其他线程都不可以对那些UI控件访问

【转】 Pro Android学习笔记(七四):HTTP服务(8):使用后台线程AsyncTask

目录(?)[-] 5秒超时异常 AsyncTask 实现AsyncTask抽象类 对AsyncTask的调用 在哪里运行 其他重要method 文章转载只能用于非商业性质,且不能带有虚拟货币.积分.注册等附加条件,转载须注明出处:http://blog.csdn.net/flowingflying/ 之前,我们直接在activity中执行http通信,在通信过程中可能会出现连接超时.socket超时等情况,超时阈值一般是秒级,例如AndroidHttpClient中设置的20秒,如果出现超时,就