MySQL-5.5 主从关于复制过滤的深入探究

之前也用过不同形式的’复制过滤‘条件，例如binlog-ignore-db、replicate-do-db、replicate-wild-do-table等。没出问题，所以也没太深究这几个选项。最近用pt-table-checksum做例行检查的时候，发现主从竟然有不一样的块，惊出一身冷汗之余，照着官方文档配合实验好好整理了下。

以下内容参考5.5官方文档

binlog_format（STATEMENT，ROW，MIXED，5.5默认为STATEMENT）的设置会导致一些复制执行上的差异。

当使用MIXED格式时，binlog绝大多数情况也是以STATEMENT格式记录，只有在下列情况下才会切换到ROW格式：

1、 当时用UUID()函数时

2、 当一个或多个拥有AUTO_INCREMENT列的表被更新同时有‘trigger’或者‘stored function’被调用时

# MIXED对于‘trigger’和‘stored function’总是使用statement-based

3、 执行INSERT DELAYED时

4、 当视图里的某一部分需要row-based复制（例如UUID()）时，创建该视图的语句被改为row-based

5、 使用用户自定义函数（UDF）时

6、 当某语句被判定为row-based，并且执行它的session需要用到临时表，则session下的所有子语句都将以ROW格式记录

7、 当使用USER(),CURRENT_USER()或者 CURRENT_USER

8、 当语句引用了一个或多个system variables。

9、 当使用LOAD_FILE()

所有DDL语句都是基于statements，不论binlog_format如何设置

复制双方binlog_format需一致，否则复制无法进行

Binlog格式影响到以下‘复制过滤’配置的行为

--binlog-do-db
--binlog-ignore-db=ljk
该选项的行为取决于binlog格式
Statement-based logging：当use ljk后（即当前库为ljk时），所有的语句不被记录进binlog
当登陆mysql后不use/或者use ljk之外的库，执行update ljk.table 依然会记录近binlog并复制
Row-based format：告诉服务器不记录任何ljk库下表的更改，无论当前在哪个库（即无论有无use语句，是否use  ljk）
--replicate-do-db = ljk
该选项的行为取决于binlog格式
Statement-based replication：只有主库在use ljk 之后执行的语句才会被从库复制
无use语句或者use其他库后执行的语句均不被复制
Row-based replication：只有ljk库的更改会被复制（无论use哪个库或者是否use）
无论是否use或use哪个库，ljk库之外的变更都不会被复制
--replicate-ignore-db

总结：Statement-based跟当前use的库有关，Row-based更直接，只关心指定的库‘做或不做’。

还有以下两种参数可‘过滤复制’
以下两种选项只对表的更改有影响，库的复制不受这些参数影响（但是类似ljk.%这种，也会对库起作用）


--replicate-do-table

这两个选项在我的实验里跟描述不太一致，详细见下文实验结果

--replicate-ignore-table
--replicate-wild-do-table = ljk.%
无论use ljk或use 其他库或不use，对ljk库的更新都能被复制,同时，其他库任何情况下均不会复制（包括建库建表操作）
--replicate-wild-ignore-table

根据以上，综合建议：对复制的过滤，采用replicate-wild-do-table/ replicate-wild-ignore-table，比较严格和明确

下面是实验过程（MySQL-5.5.39）
一、 主库添加“binlog-ignore-db = mysql”，从库不加过滤


库操作：
    1. 主库不use，执行建库语句
    mysql> create database kai;
    从库复制
    2. 主库use  mysql,再执行
    mysql> create database kai;
    从库复制

在kai数据库执行建表操作：
    1. 不use
    create table kai.li (id int,name char(15));
    从库复制
    2. use mysql;
    create table kai.li (id int,name char(15));
    从库不复制
    3. use 其他库;
    create table kai.li (id int,name char(15));
    从库复制

对表内容修改：
    1. 主库不use，向li表增加数据
    insert into kai.li values(‘1‘,‘ljk‘);
    从库复制
    2. 主库 use mysql，向li表增加数据
    从库不复制
    3. 主库use 其他库，更新li库（即跨库更新）
    mysql> use picture;
    mysql> insert into kai.li values(‘2‘,‘lhy‘);
    从库复制

对mysql库进行更改：
    1. 不 use
    mysql> create table mysql.ljk (id int,name varchar(15));
    从库复制
    2. Use 其他库
    mysql> drop table mysql.ljk;
    从库复制

二、从库添加“replicate-ignore-db = mysql”，主库不加过滤


库操作
    1. 主库不use，执行建库语句
    mysql> create database kai;
    从库复制
    2. 主库use  mysql,再执行
    mysql> create database kai;
    从库复制

在kai数据库执行建表操作
    1. 不use
    create table kai.li (id int,name char(15));
    从库复制
    2. use mysql;
    create table kai.li (id int,name char(15));
    从库不复制
    3. use 其他库;
    create table kai.li (id int,name char(15));
    从库复制

对表内容修改：
    1. 主库不use，向li表增加数据
    insert into kai.li values(‘1‘,‘ljk‘);
    从库复制
    2. 主库 use mysql，向li表增加数据
    从库不复制
    3. 主库use 其他库，更新li库（即跨库更新）
    mysql> use picture;
    mysql> insert into kai.li values(‘2‘,‘lhy‘);
    从库复制

对mysql库进行更改
    1. 不 use
    mysql> create table mysql.ljk (id int,name varchar(15));
    从库不复制，且从库状态正常
    2. Use 其他库
    mysql> drop table mysql.ljk;
    从库复制
    3. Use mysql
    mysql> create table ljk (id int,name varchar(15));
    从库不复制

三、从库添加“replicate-ignore-table = mysql.%”，主库不加过滤


注：这条规则加完在任何库下执行任何语句均复制；相反，在从库添加replicate-do-table = mysql.%后,在任何库下执行任何sql都不会被复制。不知道是不是bug

库操作：
    1. 主库不use，执行建库语句
    mysql> create database kai;
    从库复制
    2. 主库use  mysql,再执行
    mysql> create database kai;
    从库复制

在kai数据库执行建表操作
    1. 不use
    create table kai.li (id int,name char(15));
    从库复制
    2. use mysql;
    create table kai.li (id int,name char(15));
    从库复制
    3. use 其他库;
    create table kai.li (id int,name char(15));
    从库复制

对表内容修改：
    1. 主库不use，向li表增加数据
    insert into kai.li values(‘1‘,‘ljk‘);
    从库复制
    2. 主库 use mysql，向li表增加数据
    从库复制
    3. 主库use 其他库，更新li库（即跨库更新）
    mysql> use picture;
    mysql> insert into kai.li values(‘2‘,‘lhy‘);
    从库复制

对mysql库进行更改
    1. 不 use
    mysql> create table mysql.ljk (id int,name varchar(15));
    从库复制
    2. Use 其他库
    mysql> drop table mysql.ljk;
    从库复制
    3. Use mysql
    mysql> create table ljk (id int,name varchar(15));
    从库复制

四、 从库添加“replicate-wild-ignore-table = mysql.%”，主库不加过滤


库操作：
    1. 主库不use，执行建库语句
    mysql> create database kai;
    从库复制
    2. 主库use  mysql,再执行
    mysql> create database kai;
    从库复制

在kai数据库执行建表操作
    1. 不use
    create table kai.li (id int,name char(15));
    从库复制
    2. use mysql;
    create table kai.li (id int,name char(15));
    从库复制
    3. use 其他库;
    create table kai.li (id int,name char(15));
    从库复制

对表内容修改：
    1. 主库不use，向li表增加数据
    insert into kai.li values(‘1‘,‘ljk‘);
    从库复制
    2. 主库 use mysql，向li表增加数据
    从库复制
    3. 主库use 其他库，更新li库（即跨库更新）
    mysql> use picture;
    mysql> insert into kai.li values(‘2‘,‘lhy‘);
    从库复制

对mysql库进行更改
    1. 不 use
    mysql> create table mysql.ljk (id int,name varchar(15));
    从库不复制
    2. Use 其他库
    mysql> drop table mysql.ljk;
    从库不复制
    3. Use mysql
    mysql> create table ljk (id int,name varchar(15));
    从库不复制

综上参考官方文档以及实验，可得出结论：

对于每一个添加的‘复制过滤’配置，应从两方面考虑：

1. 不用use语句引用库，或者use xxx引用其他库之后再执行sql（又分两部分：对‘过滤的库/表’ 或 ‘对其他库/表’）会怎样

2. use xxx引用‘过滤的库/表’，再执行sql（也分两部分：对‘过滤的库/表’ 或 ‘对其他库/表’）会怎样

除replicate-wild-do-table=/replicate-wild-ignore-table=外，其他过滤规则会受到“binlog_format”以及“当前所在库”的影响

实验也验证了上文提到的“对复制的过滤，采用replicate-wild-do-table/ replicate-wild-ignore-table，比较严格和明确”

时间： 2025-01-02 16:12:49

MySQL-5.5 主从关于复制过滤的深入探究的相关文章

MySQL 5.5主从关于‘复制过滤’的深入探究

关于MySQL主从复制的过滤,例如通过binlog-ignore-db.replicate-do-db.replicate-wild-do-table等.如果不好好研究过这些过滤选项就用的话,是有可能造成主从数据不一致问题的.本文将参考MySQL-5.5官方文档并结合实验,和各位一起探讨下这里的各个设置. 以下内容参考5.5官方文档 binlog_format的设置会导致一些复制执行上的差异. 格式有三种(STATEMENT,ROW,MIXED,5.5默认为STATEMENT) 当使用MIXED

MySQL 5.7在线设置复制过滤【转】

转自 MySQL 5.7在线设置复制过滤 - yayun - 博客园 https://www.cnblogs.com/gomysql/p/4991197.html 5.7也GA了,有许多新的特性,其中现在可以进行在线设置复制过滤了.但是还是得停复制,不过不用重启实例了.方便了DBA们进行临时性的调整.下面就简单的测试一下.MySQL 5.7的安装有了很大的变化,我主要是安装的二进制版本.关于如何安装以及如何搭建好复制这种小事,相信聪明的你可以很快搞定.安装请参考http://dev.mysql.

mysql 5.7主从库复制设置

1.创建复制用户 CREATE USER 'rep_user'@'%.192.168.0.106' IDENTIFIED BY '123456'; 2.权限授予 GRANT REPLICATION SLAVE ON *.* TO 'rep_user'@'%.192.168.0.106'; 3.备份主库 C:\Users\Administrator>mysqldump -uroot --password --databases test01 >e:/temp/2 0170507/aa.sql E

MariaDB(MySQL)：半同步复制+ssl+复制过滤

一.半同步复制   1.mysql的复制 通过记录主服务器的二进制日志,并在从服务器上进行重放(replay)完成复制,默认都是异步进行的. 2.半同步复制 半同步复制是google贡献给MySQL的一个补丁,在MySQL 5.5之后就支持了,MariaDB都是支持的. MySQL的插件,一般在MySQL安装目录下; 半同步复制插件默认没有启用,需要自己安装,/usr/local/mysql/lib/plugin可以看到semisync_master.so和semisync_slave.so和其

第四阶段 （七）MySQL REPLICATION（主从复制、半同步复制、复制过滤）

Linux运维 第四阶段 (七)MySQL REPLICATION(主从复制.半同步复制.复制过滤) 一.MySQL Replication相关概念: 1.复制的作用:辅助实现备份:高可用HA:异地容灾:分摊负载(scaleout):rw-spliting(mysql proxy工作在应用层). 2.master有多个CPU允许事务并行执行,但往二进制日志文件只能一条条写:slave比master要慢:master-slave默认异步方式传送. 3.半同步:仅负责最近一台slave同步成功,其它

mysql半同步复制及复制过滤

配置mysql半同步,前提是已经有master和slave环境. MySQL半同步配置 Master配置 安装semisync_master插件 mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; Query OK, 0 rows affected (0.02 sec) mysql>show plugins; +----------------------------+----------+------

MySQL主从延迟复制实践及生产故障案例恢复实践

1.1 MySQL主从延迟复制介绍 从MySQL5.6开始支持了主从延迟复制,这个功能主要解决的问题是,当主库有逻辑的数据删除或错误更新后,所有的从库都会进行错误的更新,从而导致所有的数据库数据异常,即使有定时的备份数据可以用于数据恢复,特别是数据库数据量很大时,恢复时间会很长,再恢复期间数据库数据被删或错误数据影响正常的访问体验. 而延迟复制就可以较好的解决这个问题.例如,可以设定某一个从库和主库的更新延迟1小时,这样主库数据出问题以后,1个小时以内发现,可以对这个从库进行无害恢复处理,使之依

MySQL的3节点主从同步复制方案

上篇文章<为什么要对MySQL做主从同步复制>我们说明了MySQL主从同步的作用,主从同步的原理和主从同步的缺点.下面我们介绍下3节点中:2个节点互为主从,1个节点作为前2个节点的从,用于实现MySQL5.6的3节点主从同步复制方案. 主要步骤如下: 1.配置MasterA端同步复制时所需要的选项 2.在MasterA主库上创建同步复制时的用户并授权 3.MasterA主库锁表 4.记录MasterA主库的binlog以及pos位置节点 5.导出MasterA主库m_s_rep数据库 6.配置

MySQL的3节点主从同步复制方案测试

上接<MySQL的3节点主从同步复制方案> 六．测试主从同步复制 现在我们来测试下,mysql的主从同步. 1.在主库插入测试数据 先在主库MasterA 上给m_s_rep数据库插入和删除2条数据.如下: mysql> insert into test(id,content) values(3,'data3'); mysql> insert into test(id,content) values(2,'data2'); mysql> select * from test;