MySQL+InnoDB semi-consitent read原理及实现分析

semi-consistent简介

对于熟悉MySQL,或者是看过InnoDB源码的朋友们来说,可能会听说过一个新鲜的名词:semi-consistent read 。 何谓semi-consistent read?以下一段文字,摘于semi-consistent read一文:

A type of read operation used for UPDATE statements, that is a combination of read committed and consistent read. When an UPDATE statement examines a row that is already locked, InnoDB returns the latest committed version to MySQL so that MySQL can determine whether the row matches the WHERE condition of the UPDATE. If the row matches (must be updated), MySQL reads the row again, and this time InnoDB either locks it or waits for a lock on it. This type of read operation can only happen when the transaction has the read committed isolation level, or when the innodb_locks_unsafe_for_binlog option is enabled.

简单来说,semi-consistent read是read committed与consistent read两者的结合。一个update语句,如果读到一行已经加锁的记录,此时InnoDB返回记录最近提交的版本,由MySQL上层判断此版本是否满足update的where条件。若满足(需要更新),则MySQL会重新发起一次读操作,此时会读取行的最新版本(并加锁)。

semi-consistent read只会发生在read committed隔离级别下,或者是参数innodb_locks_unsafe_for_binlog被设置为true。

MySQL server与InnoDB引擎是如何进行交互?InnoDB引擎如何实现semi-consistent read?请见下面的详细分析。

semi-consistent实现

MySQL Server层

从上面的描述中可以看出,semi-consistent read仅仅针对于update操作,因此在sql_update.cc的mysql_update方法中,有如下调用:

sql_update.cc::mysql_update()

// 通知底层引擎,尝试进行semi consistent read

// 是否真正进行semi consistent read,由底层引擎决定

table->file->try_semi_consistent_read(1);

// InnoDB引擎决定当前update是否可以进行semi-consistent read

// 具体的处理方法,在下节中分析

ha_innodb.cc::try_semi_consistent_read(bool yes);

// 进行update的读与更新操作

// update操作完成之后,关闭semi-consistent read

table->file->try_semi_consistent_read(0);

MySQL Server层处理semi-consistent较为简单,接下来看看InnoDB Engine的处理方式。

InnoDB Engine层

InnoDB Engine层面,对于semi-consistent read的处理,包括两方面的逻辑:

  • 判断当前语句是否可以支持semi-consistent read
  • fetch next时,对于semi-consistent read的特殊处理

是否采用semi-consistent read

前面提到,MySQL Server在update时,会调用引擎的try_semi_consistent_read方法,来尝试进行semi-consistent read,而是否进行semi-consistent read,则交由底层处理。

ha_innodb.cc::try_semi_consistent_read()

if (yes &&

(srv_locks_unsafe_for_binlog

|| prebuilt->trx->isolation_level <= TRX_ISO_READ_COMMITTED))

prebuilt->row_read_type = ROW_READ_TRY_SEMI_CONSISTENT;

简单分析下,当用户设置系统参数innodb_locks_unsafe_for_binlog为true,或者是采用的事务隔离级别为read committed(或以下)时,设置prebuilt->row_read_type参数,标识当前update语句使用semi-consistent read,fetch next时需要有针对性的做特殊处理。

Fetch Next特殊处理逻辑

InnoDB fetch next的主函数入口是row_search_for_mysql,此函数如何针对性的处理semi-consistent read呢?

row0sel.c::row_search_for_mysql()

// 尝试对于定位到的记录加锁

err = sel_set_rec_lock();

case DB_LOCK_WAIT:

// 如果加锁需要等待,则判断是否可以进行semi-consistent read

// 判断条件为:

// 1. prebuilt->row_read_type必须设置为ROW_READ_TRY_SEMI_CONSISTEN

// 2. 当前scan必须是range scan或者是全表扫描,而非unique scan

// 3. 当前索引必须是聚簇索引

// 4. 不满足以上三个条件,就不能进行semi-consistent read,进行加锁等待

// 注意:若不需要加锁等待,那么也不需要进行semi-consistent read,直接

// 读取记录的最新版本即可,没有加锁等待的开销。

if ((prebuilt->row_read_type != ROW_READ_TRY_SEMI_CONSISTENT)

|| unique_search

|| index != clust_index)

goto lock_wait_or_error;

// 可以进行semi-consistent read,根据记录的当前版本,构造最新的commit版本

// 若没有commit版本,当前版本为最新版本,则直接读取下一条记录

// 若存在commit版本,则设置did_semi_consistent_read为TRUE

row_sel_build_committed_vers_for_mysql();

if (old_vers == NULL)

goto next_rec;

did_semi_consistent_read = TRUE;

// 若本次update scan,由于加锁等待,使用了semi-consistent,则设置相应的参数

// 该参数,在下一小节提到的MySQL针对semi-consistent优化中有用

if (did_semi_consistent_read)

prebuilt->row_read_type = ROW_READ_DID_SEMI_CONSISTENT;

else

prebuilt->row_read_type = ROW_READ_TRY_SEMI_CONSISTENT;

// 至此,InnoDB的fetch next针对semi-consistent read的处理完毕

优化:Unlock unmatched row

上面提到的是semi-consistent read的功能实现,除此之外,MySQL针对semi-consistent read,还做了优化措施:对于update scan返回的不满足条件的记录,提前放锁。

MySQL Server层流程

sql_update.cc::mysql_update()

// 判断当前scan返回的记录,是否满足update的where条件

// 若满足,则进行update操作

if (!(select && select->skip_record())

// 若不满足update的where条件,则选择将当前记录上的行锁提前释放

else

table->file->unlock_row();

InnoDB Engine层流程

ha_innobd.cc::unlock_row();

switch (prebuilt->row_read_type)

// 若系统未设置参数innodb_locks_unsafe_for_binlog,同时隔离级别大于

// TRX_ISO_READ_COMMITTED,则不可提前释放不满足条件的行锁

// 否则可以提前释放不满足条件的行锁

case ROW_READ_WITH_LOCKS:

if (!srv_locks_unsafe_for_binlog &&

prebuilt->trx->isolation_level > TRX_ISO_READ_COMMITTED)

break;

// 若当前系统已采用SEMI_CONSISTENT read,但是没有锁等待,加锁直接成功

// 那么此时直接释放不满足条件的行锁

case ROW_READ_TRY_SEMI_CONSISTENT:

row_unlock_for_mysql();

// 若当前系统已采用SEMI_CONSISTENT read,并且有锁等待,构造了commit版本

// 没有在commit版本上加锁,因此也无锁可放,直接返回即可

case ROW_READ_DID_SEMI_CONSISTENT:

prebuilt->row_read_type = ROW_READ_TRY_SEMI_CONSISTENT;

break;

semi-consistent优缺点分析

优点

  • 减少了更新同一行记录时的冲突,减少锁等待。

    无并发冲突,读记录最新版本并加锁;有并发冲突,读事务最新的commit版本,不加锁,无需锁等待。

  • 可以提前放锁,进一步减少并发冲突概率。

    对于不满足update更新条件的记录,可以提前放锁,减少并发冲突的概率。

  • 在理解了semi-consistent read原理及实现方案的基础上,可以酌情考虑使用semi-consistent read,提高系统的并发性能。

缺点

  • 非冲突串行化策略,因此对于binlog来说,是不安全的

    两条语句,根据执行顺序与提交顺序的不同,通过binlog复制到备库后的结果也会不同。不是完全的冲突串行化结果。

    因此只能在事务的隔离级别为read committed(或以下),或者设置了innodb_locks_unsafe_for_binlog参数的情况下才能够使用。

测试用例

构造semi-consistent read

set binlog_format=mixed;

set session transaction isolation level repeatable read;

create table t1(a int not null) engine=innodb DEFAULT CHARSET=latin1;

insert into t1 values (1),(2),(3),(4),(5),(6),(7);

session 1:                                                session 2:

set autocommit=0;

update t1 set a = a + 10;

set binlog_format=mixed;

set session transaction isolation level read committed;

update t1 set a = a + 100 where a > 10;

此时,session 2不需要等待session 1,虽然session 1的更新后项满足session 2的条件,但是由于session 2进行了semi-consistent read,读取到的记录的前项为(1-7),不满足session 2的更新where条件,因此session 2直接返回。

session 2直接返回,0 rows affected。

构造unlock unmatched row

set binlog_format=mixed;

set session transaction isolation level repeatable read;

create table t1(a int not null) engine=innodb DEFAULT CHARSET=latin1;

insert into t1 values (1),(2),(3),(4),(5),(6),(7);

session 1:                                                session 2:

set autocommit=0;

update t1 set a = a + 10;

commit;

set binlog_format=mixed;

set session transaction isolation level repeatable read;

set autocommit = 0;

update t1 set a = a + 100 where a < 10;

select * from t1 lock in share mode;

session 1在session 2开始前已经提交,session 2可以进行semi-consistent read。并且读到的都是session 1的更新后项,完成加锁。但是由于更新后项均不满足session 2的where条件,session 2会释放所有行上的锁(由MySQL Server层判断并调用unlock_row方法释放行锁)。

此时,session 1再次执行select * from t1 lock in share mode语句,直接成功。因为session 2已经将所有的行锁提前释放。

朋友们可以试试将session 2的隔离级别改为repeatable read,那么此时session 1就会等待session 2提交。

更多内容:http://www.wangzhanjianshegs.com/网站建设

时间: 2024-10-13 15:27:39

MySQL+InnoDB semi-consitent read原理及实现分析的相关文章

一文快速搞懂MySQL InnoDB事务ACID实现原理

[51CTO.com原创稿件]说到数据库事务,想到的就是要么都做修改,要么都不做,或者是 ACID 的概念.其实事务的本质就是锁.并发和重做日志的结合体. 这一篇主要讲一下 InnoDB 中的事务到底是如何实现 ACID 的: 原子性(atomicity) 一致性(consistency) 隔离性(isolation) 持久性(durability)隔离性隔离性的实现原理就是锁,因而隔离性也可以称为并发控制.锁等.事务的隔离性要求每个读写事务的对象对其他事务的操作对象能互相分离.再者,比如操作缓

mysql的INNODB引擎锁的原理试验

mysql的INNODB引擎锁的原理是怎样的,来做个试验. mysql> SELECT VERSION(); +-----------+ | VERSION() | +-----------+ | 5.5.20    | +-----------+ 1 row in set (0.00 sec) CREATE TABLE test ( a INT(5), b VARCHAR(10), c VARCHAR(10) ); INSERT INTO test VALUES(1,'111','111');

Mysql InnoDB事务

事务特点 ACIDATOMICITY:原子性 一个事务必须被视为一个不可分割的最小工作单元,整个事务中的所有操作要么全部提交成功,要么全部失败回滚,对于一个事务来说,不可能只执行其中的一部分操作,这就是事务的原子性 CONSISTENCY:一致性 数据库总是从一个一致性的状态转换到另一个一致性的状态. ISOLATION:隔离性 通常来说,一个事务所做的修改在最终提交以前,对其他事务是不可见的. DURABILITY:持久性 一旦事务提交,则其所做的修改不会永久保存到数据库. 隔离级别:READ

【转】由浅入深探究mysql索引结构原理、性能分析与优化

摘要: 第一部分:基础知识 第二部分:MYISAM和INNODB索引结构 1.简单介绍B-tree B+ tree树 2.MyisAM索引结构 3.Annode索引结构 4.MyisAM索引与InnoDB索引相比较 第三部分:MYSQL优化 1.表数据类型选择 2.sql语句优化 (1)     最左前缀原则 (1.1)  能正确的利用索引 (1.2)  不能正确的利用索引 (1.3)  如果一个查询where子句中确实不需要password列,那就用“补洞”. (1.4)  like (2)

MYSQL主从不同步延迟原理分析及解决方案(摘自http://www.jb51.net/article/41545.htm)

1. MySQL数据库主从同步延迟原理.要说延时原理,得从mysql的数据库主从复制原理说起,mysql的主从复制都是单线程的操作,主 库对所有DDL和DML产生binlog,binlog是顺序写,所以效率很高,slave的Slave_IO_Running线程到主库取日志,效率很 比较高,下一步,问题来了,slave的Slave_SQL_Running线程将主库的DDL和DML操作在slave实施.DML和DDL的IO操作 是随即的,不是顺序的,成本高很多,还可能可slave上的其他查询产生lo

mysql索引结构原理、性能分析与优化

原文  http://wulijun.github.com/2012/08/21/mysql-index-implementation-and-optimization.html 第一部分:基础知识 索引 官方介绍索引是帮助MySQL高效获取数据的数据结构.笔者理解索引相当于一本书的目录,通过目录就知道要的资料在哪里, 不用一页一页查阅找出需要的资料. 唯一索引(unique index) 强调唯一,就是索引值必须唯一. 创建索引: create unique index 索引名 on 表名(列

使用mysql innodb 使用5.7的json类型遇到的坑和解决办法

---------------------------------------------- #查询JSON的某个字段 select data -> '$.Host' from temp #创建虚拟列 ALTER TABLE temp ADD host varchar(128) GENERATED ALWAYS AS (json_extract(data,'$.Host')) VIRTUAL; #给虚拟列创建索引 ALTER TABLE temp ADD INDEX index_temp_hos

巧用MySQL InnoDB引擎锁机制解决死锁问题(转)

该文会通过一个实际例子中的死锁问题的解决过程,进一步解释innodb的行锁机制 最近,在项目开发过程中,碰到了数据库死锁问题,在解决问题的过程中,笔者对MySQL InnoDB引擎锁机制的理解逐步加深. 案例如下: 在使用Show innodb status检查引擎状态时,发现了死锁问题: *** (1) TRANSACTION: TRANSACTION 0 677833455, ACTIVE 0 sec, process no 11393, OS thread id 278546 starti

优化导入数据到MariaDB、Mysql(InnoDB)的速度

关键配置:关闭binlog 环境:8G的sql文件,300多个InnoDB数据表,(用MysqlWorkbench导出的数据,用HeidiSql导入,因为正式环境是mysql,可以用MysqlWorkbench,而MariaDB用不了导出,要用HeidiSql,直接用mysqldump.source命令也可以).导出耗时6分钟,导入耗时55分钟(有待提高,跟进中) 版本:MariaDB 10 1.注释"log-bin=mysql-bin"."binlog_format=mix

MYSQL INNODB PAGE一督

MYSQL INNODB PAGE一督 MYSQL INNODB PAGE一督,布布扣,bubuko.com