MySQL备份锁

无论逻辑备份还是物理备份,为了获取一致性位点,都强依赖于FTWRL(Flush Table With Read Lock)。这个锁杀伤力非常大,因为持有锁的这段时间,整个数据库实质上不能对外提供写服务的。此外,由于FTWRL需要关闭表,如有大查询,会导致FTWRL等待,进而导致DML堵塞的时间变长。即使是备库,也有SQL线程在复制来源于主库的更新,上全局锁时,会导致主备库延迟。FTWRL这把锁持有的时间主要与非innodb表的数据量有关,如果非innodb表数据量很大,备份很慢,那么持有锁的时间就会很长。即使全部是innodb表,也会因为有mysql库系统表存在,导致会锁一定的时间。为了解决这个问题,Percona公司对Mysql的Server层做了改进,引入了BACKUP LOCK,具体而言,通过"LOCK TABLES FOR BACKUP"命令来获取一致性数据(包括非innodb表);通过"LOCK BINLOG FOR BACKUP"来获取一致性位点,尽量减少因为数据库备份带来的服务受损,我们将这一特性引入到AliSQL,下面详细介绍这个特性。

功能介绍

在MysqlServer层新增2种类型MDL全局范围锁,backup-lock和binlog-lock,并新增了3种语法:

1.LOCK TABLES FOR BACKUP,执行语句申请backup-lock的共享锁,通过unlock tables释放锁。

2.LOCK BINLOG FOR BACKUP,执行语句申请binlog-lock的共享锁,通过unlock binlog释放锁。

3.UNLOCK BINLOG,释放LOCK BINLOG FOR BACKUP持有的锁。

对于backup-lock:

已经持有lock table for backup后,如果在本会话执行更新操作(非innodb表),会报错;如果在其它会话执行更新操作,会等待。show processlit 可以看到会话处于"Waiting for backup lock"状态。

对于binlog-lock:

已经持有lock binlog for backup后,如果本会话执行更新操作,不会报错,因为不会堵塞会话;如果其它会话执行,则会等待。show processlist 可以看到会话处于"Waiting for binlog lock"状态。

下面介绍具体的原理和相关接口的实现

A:备份操作

申请backup-lock,持有(backup,MDL_SHARED,MDL_EXPLICIT)锁

B:库的DDL操作

调用lock_schema_name加库对象锁(修改库操作,schema_lock)

接口(mysql_create_db, mysql_alter_db, mysql_rm_db, mysql_upgrade_db等)

1.如果已经持有全局锁(backup,global),则报错。

2.加库的排它锁(SCHEMA, MDL_EXCLUSIVE, MDL_TRANSACTION)

3.申请IX范围锁,避免后续的global和backup lock进来

(global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

(backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

C:表的DDL操作

调用lock_table_names加表对象锁(修改表操作)

接口(mysql_rename_tables, mysql_rm_table, mysql_drop_view, truncate_table等)

1.加表对象锁(TABLE, MDL_EXCLUSIVE, MDL_TRANSACTION)

2.加上对应schema的对象锁(SCHEMA,MDL_INTENTION_EXCLUSIVE,MDL_TRANSACTION),避免库的ddl操作。

3.如果已经持有全局锁(backup,global),则报错。

4.申请IX范围锁,避免后续的global和backup lock进来

(global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

(backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

D:表的DML操作

调用acquire_protection来申请IX范围锁

接口open_table

这里只针对非innodb引擎,且是写操作的表

mdl_request.type >= MDL_SHARED_WRITE && share->db_type()->flags & HTON_SUPPORTS_ONLINE_BACKUPS

引入备份锁的优势

LOCK TABLES FOR BACKUP
作用:获取一致性数据
1.禁止非innodb表更新
2.禁止所有表的ddl
优化点:
1.不会被大查询堵塞(没有flush tables 导致关闭表操作)
2.不会堵塞innodb表的读取和更新,这点非常重要,对于业务表全部是并innodb的情况,则备份过程中DML完全不受损

LOCK BINLOG FOR BACKUP

作用:获取一致性位点。
1.禁止对位点更新的操作
优化点:
1.允许DDl和更新,直到写binlog为止。
UNLOCK BINLOG

物理备份流程变化

修改前:

1. get redo-lsn

2. copy InnoDB data

3. FLUSH TABLES WITH READ LOCK;

4. copy .frm, MyISAM, etc.

5. get the binary log coordinates

6. finalize the background copy of REDO log

7. UNLOCK TABLES;

修改后:

1. get redo-lsn

2. copy InnoDB data

3. LOCK TABLES FOR BACKUP;

4. copy .frm, MyISAM, etc

5. LOCK BINLOG FOR BACKUP;

6. finalize the background copy of REDO log

7. UNLOCK TABLES;

8. get the binary log coordinates

9. UNLOCK BINLOG;

对应的Xtrabackup工具在执行命令流程需要相应的改动。

功能限制

1.对于Myisam表,当delay_key_write=ALL时,索引并没有及时刷盘,导致xtrabackup无法获取一致的备份,因此在这种情况下,加backup-lock失败。

参考文档

https://www.percona.com/doc/percona-server/5.6/management/backup_locks.html#interaction-with-other-global-locks

https://www.percona.com/blog/2014/03/11/introducing-backup-locks-percona-server-2/

时间: 2024-10-05 04:59:44

MySQL备份锁的相关文章

细说MySQL备份的基本原理(系列一 ) 备份与锁

数据库作为一个系统中唯一或者主要的持久化组件,对服务的可用性和数据的可靠性要求极高. 作为能够有效应对因为系统软硬件故障.人工误操作导致数据丢失的预防手段,备份是目前最为常见的数据库运维操作. 考虑到备份操作对数据库可用性的影响, MySQL官方将备份方式划主要划分为以下三类: 热备:备份过程中,MySQL实例始终是运行的,所有用户的读写请求都不会受到影响. 冷备:备份前首先需要停止MySQL实例的运行,整个备份过程中,用户均无法访问数据库. 温备:备份过程中,虽然MySQL实例是运行的,但是为

MySQL备份与增量备份

MySQL备份与增量备份 01)MySQL备份常用参数 -B 1.会备份创建和删除库的语句:2.备份多个库: --compact 去注释,适合调试 gzip 压缩:# mysqldump -uroot -pqb123 -S /data/3306/mysql.sock -F -B --master-data=2 mydb|gzip > /server/backup/bak_$(date +%F).sql.gz -A 备份所有库 -F 刷新binlog日志 --master-data=1/2 增加b

Mysql备份系列(4)--lvm-snapshot备份mysql数据(全量+增量)操作记录

Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳理Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 废话不多说,下面即是使用lvm-snapshot快照方式备份mysql的操作记录,仅依据本人实验中使用而述. 操作记录:如下环

选择适用才最好 盘点MySQL备份方式

我们要备份什么? 一般情况下, 我们需要备份的数据分为以下几种 数据 二进制日志, InnoDB事务日志 代码(存储过程.存储函数.触发器.事件调度器) 服务器配置文件 备份工具 这里我们列举出常用的几种备份工具 mysqldump : 逻辑备份工具, 适用于所有的存储引擎, 支持温备.完全备份.部分备份.对于InnoDB存储引擎支持热备 cp, tar 等归档复制工具: 物理备份工具, 适用于所有的存储引擎, 冷备.完全备份.部分备份 lvm2 snapshot: 几乎热备, 借助文件系统管理

关系型数据库之Mysql备份(五)

二进制日志简要: 二进制日志通常作为备份的重要资源,所以再说备份之前我们来回顾下前面专题讲过的二进制日志内容. 1.二进制日志内容 引起mysql服务器改变的任何操作. 复制功能依赖于此日志. 从服务器通过主服务器的二进制日志完成主从复制,在执行之前保存于中继日志中. 从服务器通常可以关闭二进制日志以提升性能. 2.二进制文件的格式表现形式: 默认在安装目录下,存在mysql-bin.000001,mysql-bin.00002的二进制文件 另外还有mysql-bin.index用来记录被mys

Linux命令:MySQL系列之十二--MySQL备份与还原(重要章节)

一.数据备份 备份类型:热备份.温备份和冷备份 热备份:读.写不受影响: 温备份:仅可以执行读操作: 冷备份:离线备份,读.写操作均中止: 备份方式:物理备份和逻辑备份: 物理备份:复制数据文件,速度快,保存数据库的所有数据结构,如果数据跟数据库关联性强, 导致物理备份可移植性能力不强: 逻辑备份:将数据导出至文本文件中,速度慢.丢失浮点数精度:方便使用文本处理工具 直接对其处理,可移植能力强: 备份策略:完全备份.增量备份和差异备份: 完全备份:备份全部数据: 增量备份:仅备份上次完全备份或者

初接触Linux,mysql备份

一.简介 mysqldump是mysql用于转存储数据库的实用程序.它主要产生一个SQL脚本,其中包含从头重新创建数据库所必需的命令CREATE TABLE INSERT等 它可以把整个数据库装载到一个单独的文本文件中.这个文件包含有所有重建你的数据库所需要的SQL命令.这个命令取得所有的模式并且将其转换成DDL语法(CREATE语句,即数据库定义语句),取得所有的数据,并且从这些数据中创建INSERT语句.这个工具将你的数据库中所有的设计倒转.因为所有的东西都被包含到了一个文本文件中.这个文本

mysql 备份及恢复

数据库备份 增量备份.差异备份区别 增量是每天相对于前一天的备份 差异是相对于完全备份的时间点 1.冷备份 离线,读写操作终止 2.热备份 备份是读写不受影响 3.温备份 仅可以读操作 4.物理备份:备份数据文件.逻辑备份:将数据导出至文本中 5.备份内容:数据库配置文件.数据.二进制日志.事务日志 6.热备份:innoDB:xtrabackup,mysqldump MyISAM:温度备份 mysql=====主从架构,离线备份 物理备份:速度快 逻辑备份:速度慢,丢失浮点数精度 7.备份策略

MySQL备份和还原系列一:备份类型

一.mysql备份类型 1.按照mysql服务器状态 cold    离线备份,读.写操作均中止 warm    仅可执行读操作 hot     读.写操作不受影响 2.按照数据一致性 consistent inconsistent 3.按照备份数据格式 logical     备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现 physical    文件系统层面直接拷贝数据文件,但真正备份的时候自然不是cp这么简单 4.数据存储方式 full            完全备份