GTID!MySQL复制中的核武器

各位老铁们,本周老张的《MySQL王者晋级之路》一书终于出版了,现在可以预购啦!
预购链接地址:老张的数据库微店
前前后后经历了一年的准备时间,可谓十年磨一剑,把自己从业所有的精华和心血都灌输到其书中。其书中包含了MySQL方方面面的知识点,是之前我的一篇博客“从青铜到王者,快速提升你MySQL数据库段位的全面深入剖析”。用一句学生对我说得话,老师喜欢您的王者荣耀情怀,但更喜欢您的技术情操。讲真,不要错过!特别感谢在我从事技术道路上,帮助过我的前辈及兄弟们,这条路上的所有的辛酸,只有你们最懂我!也要感谢对我博客一直支持的兄弟们!

今儿的这篇博文,可以让大家快速了解GTID特性,并能灵活地运用到生产环境中,希望对大家有帮助。

GTID原理介绍
GTID又叫全局事务ID(Global Transaction ID),是一个已提交事务的编号,并且是一个全局唯一的编号。MySQL5.6版本之后在主从复制类型上新增了GTID复制。
GTID是由server_uuid和事务id组成的,即GTID = server_uuid:transaction_id。 server_uuid是在数据库启动过程中自动生成的,每台机器的server-uuid不一样。uuid存放在数据目录的auto.cnf文件下。而transaction_id就是事务提交时由系统顺序分配的一个不会重复的序列号。

GTID存在的价值
(1)GTID使用master_auto_position=1代替了基于binlog和position号的主从复制搭建方式,更便于主从复制的搭建。
(2)GTID可以知道事务在最开始是在哪个实例上提交的。
(3)GTID方便实现主从之间的failover,再也不用不断地去找position和binlog 了。

主从复制中GTID的管理与维护
GTID带来最方便的一点就是主从复制的搭建过程了。它跟异步复制、半同步复制类似,只不过不再利用传统复制模式的binlog文件和position号了,而是在从库“change master to”时使用master_auto_position=1的方式进行搭建,这就让操作变得更加方便和可靠。

GTID搭建过程中的注意事项
主从库需要设置的参数如下。
主库配置:

gtid_mode=on
enforce_gtid_consistency=on
log_bin=on

server-id不能与从库一样。

binlog_format=row

从库配置:

gtid_mode=on
enforce_gtid_consistency=on
log_slave_updates=1

虽然在MySQL5.7版本之后可以关闭掉log_slave_updates,使用gtid_executed这张表。但还是建议在从库中开启。server-id不能与主库一样。
配置好参数之后,主库也创建了复制账号,如果是新搭建的主从环境,就可以直接在从库就可以执行change master to语句了。如果是已经运行了一段期间的主库,还需要利用备份方式从主库“dump”出数据到从库中,先完成基于某个点的GTID复制,然后从库从那个点之后再开始追主库。利用mysqldump备份,备份后的文件中会有SET @@GLOBAL.GTID_PURGED= *,利用xtrabackup工具备份,备份后的文件中会直接记录需要跳过的GTID。启动复制之后,从库会直接跳过已经执行过GTID的范围,直接从主库获取新的GTID信息。
在主库执行show master status命令,通过Executed_Gtid_Set来查看执行过的GTID。

在MySQL5.7版本之后,gtid_executed这个值持久化了。在MySQL库下新增了一张表gtid_executed:

该表会记录已经执行的GTID集合的信息,有了这张表,就不用再像MySQL5.6版本时,必须开启log_slave_updates参数,从库才可以进行复制。GTID信息会保存在gtid_executed表中,可以关闭从库的binlog,节约binlog的记录开销。在执行reset master时,会清空表内所有的数据。
MySQL5.7还有一个参数gtid_executed_compression_period,用来控制gtid_executed表的压缩。该参数默认值为1000,意味着表压缩在执行完1000个事务之后开始。

从MySQL5.7.6开始,gtid_mode支持动态修改,gtid_mode可取值为:
OFF—不支持GTID的事务;
OFFPERMISSIVE—新的事务是匿名的,同时允许复制的事务可以是GTID,也可以是匿名的;
ON
PERMISSIVE—新的事务使用GTID,同时允许复制的事务可以是GTID,也可以是匿名的;
ON—支持GTID的事务。
在生产环境中,可能有把传统复制改为GTID的复制模式的需求。这里特意强调一点,gtidmode虽然支持动态修改,但不支持跳跃式修改。从ON PERMISSIVE修改为OFF是不可以的。下面会有实验来展示传统复制与GTID复制之间的切换过程。
在从库上可通过show slave status命令来获取接收的gtid(retrieve_gtid_set)和执行的gtid(execute_gtid_set)。

GTID复制与传统复制的切换
前面已经搭建好了MySQL5.7版本的GTID复制模式,下面先来操作从GTID复制模式切换为传统复制模式的过程。
环境介绍:主库为192.168.56.101,从库为192.168.56.102。
当前主从状态展示。

实施过程如下:

(1)先在从库中执行stop slave,停掉主从复制。然后调整为传统复制模式,让master_auto_position=0。
执行如下命令:
CHANGE MASTER TO master_auto_position=0,Master_Host=‘192.168.56.101‘,MASTER_USER=‘bak‘,MASTER_PASSWORD=‘bak123‘,‘Master_Log_File=‘mysql-binlog.000002‘,MASTER_LOG_POS=1141;
执行完成之后,开启复制功能start slave。
(2)需要在主从服务器上同时调整GTID模式为on_permissive。

(3)需要在主从服务器上同时调整GTID模式为off_permissive。

(4)需要在主从服务器上同时关闭GTID功能。

(5)然后把gtid_mode=off和enforce_gtid_consistency=off写入配置文件my.cnf中。下次重启直接生效。
(6)测试是否切换成功。
首先向主库的zs库下的tt表中插入一条数据:

查看从库,这条数据同步成功。

然后在从库中执行show slave status查看主从复制状态,发现GTID的值没有增加,证明切换成功:

然后再操作从传统复制模式切换为GTID复制模式的过程。
实施过程如下:
(1)在主从库上同时修改参数enforce_gtid_consistency=warn,确保在error log中不会出现警告信息。如果有,需要先修复,才能往后继续执行。

(2)在主从服务器上把enforce_gtid_consistency改为on,保证GTID的一致性。

(3)在主从服务器上同时调整GTID模式为off_permissive。

(4)在主从服务器上同时调整GTID模式为on_permissive。

(5)确认从库的Ongoing_anonymous_transaction_count参数是否0,如果为0,意味着没有等待的事务,可以直接进行下一步操作了。

(6)在主从库上同时设置gtid_mode=on。

查看GTID参数设置,目前都是开启状态。

(7)把传统复制模式改为GTID复制。先要把原有的传统复制停掉,执行stop slave操作,然后再执行change master to master_auto_position=1。
执行完stop slave,查看当前主从的状态为:


然后再执行change master to master_auto_position=1,开启主从复制start slave。
(8)验证是否切换成功。
首先向主库的zs库下的tt表中插入一条数据:

查看从库,这条数据同步成功。

然后在从库中执行show slave status查看主从复制状态,发现GTID的值增加了。证明开启了GTID复制方式,切换成功。

GTID使用中的限制条件
GTID复制是针对事务来说的,一个事务只对应一个GTID,好多的限制就在于此。
(1)不能使用create table table_name select * from table_name。
(2)在一个事务中既包含事务表的操作又包含非事务表。
(3)不支持CREATE TEMPORARY TABLE or DROP TEMPORARY TABLE语句操作。
(4)使用GTID复制从库跳过错误时,不支持执行该sql_slave_skip_counter参数的语法。

感谢大家多多支持老张的新书,也感谢MySQL给我们带来的最淳朴,最简单的快乐!

原文地址:http://blog.51cto.com/sumongodb/2090307

时间: 2024-12-08 07:25:55

GTID!MySQL复制中的核武器的相关文章

【复制】【编码】MySQL复制中的编码问题

编码背景知识 Latin-1,全称ISO 8859-1 Latin 1 对ASCII的拉丁语扩展 向下兼容ASCII,其编码范围是0x00-0xFF,0x00-0x7F之间完全和ASCII一致,0x80-0x9F之间是控制字符,0xA0-0xFF之间是文字符号. ASCII   没啥好说的 0x00 – 0x7f 地球人都会查表 GBK:查表 http://ff.163.com/newflyff/gbk-list/ UTF8编码:Unicode表的一种落地实现 (包括传输<大小端>,字节存储,

MySQL 设置基于GTID的复制

GTID的概念 GTID(全名 global transaction identifier)是事务的唯一标识符.格式如下:GTID = source_id:transaction_idsource_id:标识了源服务器,通常是服务器的server_uuidtransaction_id:按照服务器上提交的事务顺序进行排序的序列号.例如: 60f9111a-cdba-11e7-b354-005056a30507:1 在配置文件中添加以下信息来启用GTID模式 [mysqld]gtid_mode=ON

MySQL 复制过滤器、监控维护及主从复制的读写分离

MySQL 复制过滤器.监控维护及基于SSL的主从复制 =============================================================================== 概述: 本章将主要介绍MySQL复制中如何过滤,监控维护,以及基于SSL的主从复制,具体内容如下: MySQL 复制过滤器 ·从服务器库级别过滤 MySQL 清理日志:PURGE 复制监控 ·Master ·Slave 如何确定主从节点的数据是否一致 MySQL基于SSL的主从复制(

MYSQL 基于GTID的复制

1.概述 从MYSQL5.6 开始,mysql开始支持GTID复制. 基于日志点复制的缺点: 从那个二进制日志的偏移量进行增量同步,如果指定错误会造成遗漏或者重复,导致数据不一致. 基于GTID复制: 1.从服务器会告诉主服务器已执行的事务的GTID值. 2.主库会告诉从哪些GTID事务没有被执行. 同一个事务在指定的从库执行一次. 什么是GTID GTID即全局事务ID,器保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID. GTID=source_id:transaction_i

MySQL学习笔记07基于GTID的复制

1.1.1. 相关概念 (1)GTID GTID是Global Transaction Identifier的缩写.GTID是一个跟提交的事务有关的标识符,由提交事务所在的原始MySQL的UUID和事务的编号组成:因此,每个GTID在每个参与的MySQL中都是唯一的,而且由GTID可以取得该事务所在的原始MySQL以及事务在原始MySQL上的编号. GTID格式如下: GTID = MySQL原始UUD:事务编号 GTID的例子如下: GTID=a2392929-6dfb-11e7-b294-0

判断GTID复制中主从是否同步脚本

判断GTID复制中从库有没有与主库同步 show slave stautus\G中: 当Retrieved_Gtid_Set = Executed_Gtid_Set 表示从库已经和主库完成同步 #!/bin/bash Exec_num=$(mysql -uroot -p147258 -e "show slave status\G;" 2>/dev/null|grep 'Executed_Gtid_Set'| awk -F":" '{print $3}'|awk

MySQL5.6基于GTID同步复制,与如何实现MySQL负载均衡、读写分离。

MySQL想必大家都不陌生,之前文章也有介绍同步复制与半同步复制,今天先来了解下什么是GTID. GTID(global transaction ID)全局事务ID,是由服务器的UUID+一段随机数事务ID. 特性:从服务器从主服务器复制过来的事务,GTID不变,也就是说一个事务在全局复制架构中的ID不变. 有什么用: 在MySQL集群中,当Master故障时,需要从Slave中挑选一个提升为Master可以基于GTID对比其他Slave来保证数据的一致性. MySQL主从同步如何配置数据过滤

深入MySQL复制(二):基于GTID复制

相比传统的MySQL复制,gtid复制无论是配置还是维护都要轻松的多.本文对gtid复制稍作介绍. MySQL基于GTID复制官方手册:https://dev.mysql.com/doc/refman/5.7/en/replication-gtids.html 1.gtid基本概念 传统的基于binlog position复制的方式有个严重的缺点:如果slave连接master时指定的binlog文件错误或者position错误,会造成遗漏或者重复,很多时候前后数据是有依赖性的,这样就会出错而导

MySQL复制(三)--基于全局事物标识符(GTID)配置复制

基础环境:   主库 从库 服务器IP地址 192.168.10.11 192.168.10.12 版本 5.7.24 5.7.24 已存在的数据库 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | lijiamandb | | mysql | | performance_schema | | sys | | testdb | +--