基于GTID的MySQL多源复制配置

多源复制的意义

1.可以在一个从库上对多个服务器的数据库进行汇总,或者对一个数据库的分库分表进行汇总。

2.集约使用从库服务器的硬件资源,毕竟弱一个数据库业务量较小确占用整个服务器资源是不经济的。

3.更方便的对个业务库进行数据备份,优化数据库备份脚本编写逻辑

拓补图

实施步骤

1.备份主库上的数据,考虑到gtid的问题建议只采用mysqldump程序进行备份

centos:#mysqldump --login-path=3306 \ #mysql官方工具都支持login-path快速登录
         --single-transaction \ #事务一致性备份,防止备份完整性被事务一致性破坏
         --master-data=2 \ #在备份文件的头部加一句change master to pos的注释语句
          -A >ip06p3306.sql #备份所有数据库

2.将导出的文件传输到从库的服务器上

   centos_ip06:#scp ip06p3306.sql [email protected]:/root/
   centos_ip31:#scp ip31p3306.sql [email protected]:/root/

3.将主库的备份文件导入到从库上

   centos:#mysql --login-path=3306              -f <ip06p3306.sql #-f参数,忽略应用备份时产生的GTID冲突

4.从两份备份文件的头部查看两个主库备份时执行到的GTID

   centos:#less ip06p3306.sql|grep PURGED #得到GTID_ip06
   centos:#less ip31p3306.sql|grep PURGED #得到GTID_ip31

5.重新设置从库的GTID(在从库上执行)

   mysql>reset master;
   mysql>set global gtid_purged=‘GTID_ip06,GTID_ip31‘;

6.将从库的指向各自的主库

      mysql>change master to \                                                master_host=‘192.168.1.6‘,master_port=3306,      master_user=‘repl‘,master_password=‘123456‘, \    
      master_auto_postion=1 \自动对齐GTID,从库宕机重启后,删除未执行relaylog,重新拉取        for channel ‘master_3306‘;为这个主设定一个频道名,可设为易于辨认的名字

7.设置不方便同步的库:(如会导致复制出重复用户的mysql库)

但sys,performance,information为模式或者视图一样的存在,数据在读取时即时生成,不真正存储数据,可以不过滤

 mysql>stop slave sql_thread;#停止从库的重放进程,比停止整个从库要方便的多
    mysql>change replication filter     replicate_ignore_db=(mysql,db1);\#把复制的库放在括号里,并用,分隔
    mysql>start slave sql_thread;

8.查看信息:

mysql> show slave status\G
    *************************** 1. row ***************************
    Slave_IO_State: Waiting for master to send event
    Master_Host: 192.168.1.6
    Master_User: repl
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.000016
    Read_Master_Log_Pos: 194
    Relay_Log_File: localhost-relay-bin-master_3306.000033
    Relay_Log_Pos: 367
    Relay_Master_Log_File: mysql-bin.000016
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    Replicate_Do_DB: 
    Replicate_Ignore_DB: 
    Replicate_Do_Table: 
    Replicate_Ignore_Table: 
    Replicate_Wild_Do_Table: 
    Replicate_Wild_Ignore_Table: 
    Last_Errno: 0
    Last_Error: 
    Skip_Counter: 0
    Exec_Master_Log_Pos: 194
    Relay_Log_Space: 803
    Until_Condition: None
    Until_Log_File: 
    Until_Log_Pos: 0
    Master_SSL_Allowed: No
    Master_SSL_CA_File: 
    Master_SSL_CA_Path: 
    Master_SSL_Cert: 
    Master_SSL_Cipher: 
    Master_SSL_Key: 
    Seconds_Behind_Master: 0
    Master_SSL_Verify_Server_Cert: No
    Last_IO_Errno: 0
    Last_IO_Error: 
    Last_SQL_Errno: 0
    Last_SQL_Error: 
    Replicate_Ignore_Server_Ids: 
    Master_Server_Id: 13306
    Master_UUID: 449fdd93-1b80-11e7-b054-000c29aa1d65
    Master_Info_File: mysql.slave_master_info
    SQL_Delay: 0
    SQL_Remaining_Delay: NULL
    Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
    Master_Retry_Count: 86400
    Master_Bind: 
    Last_IO_Error_Timestamp: 
    Last_SQL_Error_Timestamp: 
    Master_SSL_Crl: 
    Master_SSL_Crlpath: 
    Retrieved_Gtid_Set: 
    Executed_Gtid_Set: 066c3194-2b4b-11e7-b67b-000c290b6ef0:1-2951823,
                         449fdd93-1b80-11e7-b054-000c29aa1d65:1-140,
                         efa1d12e-3c56-11e7-a99e-000c29ba498d:1-481
    Auto_Position: 1
    Replicate_Rewrite_DB: 
    Channel_Name: master_3306
    Master_TLS_Version: 
      *************************** 2. row ***************************
    Slave_IO_State: Waiting for master to send event
    Master_Host: 192.168.1.31
    Master_User: repl
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.000026
    Read_Master_Log_Pos: 375018221
    Relay_Log_File: localhost-relay-bin-master_zabbix.000032
    Relay_Log_Pos: 375018394
    Relay_Master_Log_File: mysql-bin.000026
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    Replicate_Do_DB: 
    Replicate_Ignore_DB: 
    Replicate_Do_Table: 
    Replicate_Ignore_Table: 
    Replicate_Wild_Do_Table: 
    Replicate_Wild_Ignore_Table: 
    Last_Errno: 0
    Last_Error: 
    Skip_Counter: 0
    Exec_Master_Log_Pos: 375018221
    Relay_Log_Space: 375018619
    Until_Condition: None
    Until_Log_File: 
    Until_Log_Pos: 0
    Master_SSL_Allowed: No
    Master_SSL_CA_File: 
    Master_SSL_CA_Path: 
    Master_SSL_Cert: 
    Master_SSL_Cipher: 
    Master_SSL_Key: 
    Seconds_Behind_Master: 0
 n     Master_SSL_Verify_Server_Cert: No
    Last_IO_Errno: 0
    Last_IO_Error: 
    Last_SQL_Errno: 0
    Last_SQL_Error: 
     Replicate_Ignore_Server_Ids: 
    Master_Server_Id: 313306
    Master_UUID: 066c3194-2b4b-11e7-b67b-000c290b6ef0
    Master_Info_File: mysql.slave_master_info
    SQL_Delay: 0
    SQL_Remaining_Delay: NULL
    Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
    Master_Retry_Count: 86400
    Master_Bind: 
    Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
    Master_SSL_Crl: 
    Master_SSL_Crlpath: 
    Retrieved_Gtid_Set: 066c3194-2b4b-11e7-b67b-000c290b6ef0:2310554-2951823
    Executed_Gtid_Set: 066c3194-2b4b-11e7-b67b-000c290b6ef0:1-2951823,
                            449fdd93-1b80-11e7-b054-000c29aa1d65:1-140,
                            efa1d12e-3c56-11e7-a99e-000c29ba498d:1-481
    Auto_Position: 1
    Replicate_Rewrite_DB: 
    Channel_Name: master_zabbix
    Master_TLS_Version: 
          2 rows in set (0.01 sec)
时间: 2024-10-15 11:32:24

基于GTID的MySQL多源复制配置的相关文章

MySQL多源复制(八)

一.什么是多源复制 MySQL 5.7发布后,在复制方面有了很大的改进和提升.比如开始支持多源复制(multi-source)以及真正的支持多线程复制了.多源复制可以使用基于二进制日子的复制或者基于事务的复制.下面我们说一说如何配置基于二进制日志的多源复制. 首先,我们要清楚几种常见的复制模式: 一主一从 一主多从 级联复制 multi-master MySQL 5.7 之前只能支持一主一从,一主多从或者多主多从的复制.如果想实现多主一从的复制 只能使用mariadb,但是mariadb又与官方

MySQL 基于 GTID 的主从复制和多实例配置

配置基于 GTID 的主从复制 1.修改 master 和 slave 的配置文件 server-id=113 gtid_mode=on enforce-gtid-consistency=on replicate-do-db=gateway_target # 如果只需同步部分表,就在 slave 上配置这两个额外项 replicate-do-table=gateway_target.t_target_snapshot 2.导出 master 的库和表结构到 slave,先停止 master my

mysql 多源复制

mysql5.7新特性多源复制很实用,方便对分库环境进行汇总,集中备份和数据统计分析. 我的实验环境3台机器,mysql版本:5.7.16 10.10.203.102 从库 10.10.203.93 主库 10.10.203.94 主库 操作步骤: (1)当一个从库是多源复制结构,那么master_info和relay_log_info不能用file方式来存储,必须使用table,它不支持file. 10.10.203.102 从库上操作 在配置文件中新增: [mysqld] master_in

mysql多源复制详解

大家应该知道,mysql比起其他数据库,最大的特色是就是主从复制,不过5.7之前的版本最多就只支持一主多从的复制方式,对于一些统计类的需求,就需要跨库,这是比较麻烦的事情,以往只能交由数据库中间件(mycat等)去做这种事情,还有备份操作,也只能一个个库的用脚本去轮询或并发备份,不可谓不费时费力.然后,多源复制的概念出来了. 多源复制的概念最早是mariadb社区提出的,后来mysql官方积极引入到5.7的版本中来(5.6最新版也是没有这个功能的),percona就不说了,也是随后推出.这个功能

MySQL多源复制搭建

1.1     实验概要 1.1.1  实验假设 本实验假设已经完成操作系统和MySQL安装部署. 1.1.2  实验目的 MySQL5.7的多源复制技术搭建部署,然后简单测试. 1.1.3  环境信息 操作系统 MySQL版本 服务器地址 服务器角色 Centos7 5.7.18 192.168.102.23 source 1 Centos7 5.7.18 192.168.102.24 source 2 Centos7 5.7.18 192.168.102.25 target 1.1.4  实

MySQL多源复制报错,在线更改relay_log_info_repository,master_info_repository参数【转】

设置多源复制时报错 ERROR 3077 (HY000): To have multiple channels, repository cannot be of type FILE; Please check the repository configuration and convert them to TABLE. 原理:多源复制加入了一个叫做Channel的概念, 每一个Channel都是一个独立的Slave,都有一个IO_THREAD和SQL_THREAD.原理和普通复制一样.我们只需要

MySQL半同步复制配置

ansible-playbook -f 3 endpoint/mysql.yml -e "exec=fileConfig" -e "db_action=setAll" -e "paras={'plugin-load':'semisync_master.so;semisync_slave.so',rpl_semi_sync_master_enabled:'1',rpl_semi_sync_master_timeout:'1000',rpl_semi_sync

Mysql 半同步复制配置

以下是配置和监控半同步复制: 1. 半同步复制功能以plugin的方式接入MySQL,需要在主库与从库两端同时开启半同步的支持,具体配置如下: On the master mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME ‘semisync_master.so’; mysql> SET GLOBAL rpl_semi_sync_master_enabled = 1; mysql> SET GLOBAL rpl_semi_sync_mast

基于Mycat的MySQL主从读写分离配置详解与示例

1.mycat二进制包安装 tar -zxvf Mycat-server-1.6.5-release-20180122220033-linux.tar.gzcd mycatmv mycat /opt/ useradd mycatchown -R mycat:mycat mycat 2.mysql操作搭建主库环境省略...... 创建数据库CREATE DATABASE `integration01` DEFAULT CHARACTER SET utf8 ; 创建物理表 CREATE TABLE