使用GTID给Galera集群做数据库异步复制

一、为什么要做Galera集群异步复制

Galera集群解决了数据库高可用的问题,但是存在局限性,例如耗时的事务处理可能会导致集群性能急剧下降,甚至出现阻塞现象。而不幸的是,类似报表等业务需求就需要做数据大批量的数据查询操作,为了不影响Galera的集群效率,需要做数据异步复制,产生一个从库来适配耗时的数据操作需求。

由于Galera集群的特殊性,我们不能使用一般的主从复制来实现数据异步复制的要求。集群中每台mariadb都会单独的记录binlog,使得一般的主从配置只能获取到单台数据的变更事件,集群中的其它mariadb上如果有数据变更,无法同步到从库中。

根据GTID进行主从复制解决了这个问题,每个事务都存在唯一的ID,根据事务ID来同步不会受到数据库的限制,因为集群中的所有数据库节点使用的都是唯一的GTID。

二、安装xtrabackup

1、YUM安装,下载percona源:

yum install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm

2、开始安装

yum install percona-xtrabackup-24

三、备份数据

1、在主库上全量备份数据:

innobackupex --user=dbuser --passwor=‘dbpassword‘ /dir_for_backup

注意password参数,如果密码中有关键字符,需要使用单引号把密码引起来,否则无法登录mysql,无法备份数据。

2、在主库上进行全量备份后,需要应用事务到备份文件中才能使备份文件完整可用

Innobackupex --user=dbuser --password=’dbpassword’--apply-log /dir_for_backup /2018-07-12_10-39-56/

3、在主库上把备份好的数据文件传输到从库中

scp -r /DIR_FOR_BACKUP /2018-07-12_10-39-56/ [email protected]_server_ip:/slave_server_data_dir

四、从库启动

1、 在从库上修改数据文件名称,拥有者

mv /slave_server_data_dir/2018-07-12_10-39-56/ /slave_server_data_dir/mysqldata

chown -R mysql:mysql /slave_server_data_dir/mysqldata/

2、 在从库上启动数据库

配置好my.conf文件,指定datadir目录到/slave_server_data_dir/mysqldata,然后启动数据库。

五、主从配置

1、 Galera集群中的所有节点都需要做以下配置:

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

log-bin=mysql-bin

binlog_format=row

log_slave_updates = 1

server-id=4567

配置完成后重启服务器。

进入主库(Galera集群中的任一节点),授权主从复制用户:

GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO ‘slaveUser‘@‘10.30.254.9‘ IDENTIFIED BY ‘slaveUser‘;

2、 从库配置

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

#这是与主库配置不同的地方

relay_log = relay-bin

server_id=7890

log_bin=binlog

log_slave_updates=1

binlog_format=ROW

配置完成后重启从库数据库。

3、 设置从库GTID复制点信息

l  查看xtrabackup备份数据中的GTID信息

cat /slave_server_data_dir/mysqldata xtrabackup_info

uuid = ffa57fe6-8676-11e8-8b3a-00163e08d213

name =

tool_name = innobackupex

tool_command = --user=root --password=... /mnt

tool_version = 2.4.11

ibbackup_version = 2.4.11

server_version = 10.2.6-MariaDB-log

start_time = 2018-07-13 16:26:09

end_time = 2018-07-13 16:30:28

lock_time = 0

binlog_pos = filename ‘mysql-bin.000019‘, position ‘82930255‘, GTID of the last change ‘0-4567-3446‘

innodb_from_lsn = 0

innodb_to_lsn = 42353602070

partial = N

incremental = N

format = file

compact = N

compressed = N

encrypted = N

l  配置GTID主从复制

停止主从复制:STOP SLAVE;

重置主从配置:RESET SLAVE ALL;

设置GTID点:SET GLOBAL gtid_slave_pos=‘0-4567-3446‘;

配置主从配置:

CHANGE MASTER TO MASTER_HOST=‘10.30.253.222‘, MASTER_PORT=3306, MASTER_USER=‘slaveUser‘, MASTER_PASSWORD=‘slaveUser‘, master_use_gtid=slave_pos;

查看主从配置状态:SHOW SLAVE STATUS;

六、GTID同步出错时,如何恢复主从复制

异常信息:

Last_SQL_Error: Error ‘Duplicate entry ‘4‘ for key ‘PRIMARY‘‘ on query. Default database: ‘test‘. Query: ‘insert into t VALUES(NULL,‘salazar‘)‘

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-4

因为是GTID复制,所以set global sql_slave_skip_counter=N在这里是没有作用的,但是可以通过插入一个空的事务来解决问题:

STOP SLAVE;

SET GTID_NEXT="7d72f9b4-8577-11e2-a3d7-080027635ef5:5";

BEGIN; COMMIT;

SET GTID_NEXT="AUTOMATIC";

START SLAVE;

[...]

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

原文地址:https://www.cnblogs.com/leoly/p/9306766.html

时间: 2024-07-30 07:00:14

使用GTID给Galera集群做数据库异步复制的相关文章

mariadb galera集群配置

最近在看一些关于数据库的资料,从最开始的mysql的主从复制到mysql的双主+heartbeat实现mysql的高可用再到mysql+drbd+heartbeat实现底层数据同步的双主高可用再到mysql_mmm+amoeba实现双主多从的高可用和负载均衡以及读写分离,再到后来发现mysql自从被Oracle收购后已经越来越走向了封闭,更新也不如以前频繁,并且新版的mysql已经不支持GPL协议了...感觉mysql已经在Oracle手中渐渐没落了...后来发现了一个更好的替代方案那就是mar

MariaDB Galera集群部署--技术流ken

Galera集群介绍 MariaDB集群是MariaDB同步多主机集群.它仅支持XtraDB/ InnoDB存储引擎. 主要功能 同步复制 真正的multi-master,即所有节点可以同时读写数据库 自动的节点成员控制,失效节点自动被清除 新节点加入数据自动复制 真正的并行复制,行级 用户可以直接连接集群,使用感受上与MySQL完全一致 优势 因为是多主,所以不存在Slavelag(延迟) 不存在丢失事务的情况 同时具有读和写的扩展能力 更小的客户端延迟 节点间数据是同步的,而Master/S

在Linux上使用Nginx为Solr集群做负载均衡

在Linux上使用Nginx为Solr集群做负载均衡 在Linux上搭建solr集群时需要用到负载均衡,但测试环境下没有F5 Big-IP负载均衡交换机可以用,于是先后试了weblogic的proxyserver,和Apache,效果均很差,两台服务器做了负载均衡之后并发响应速度还没单台不做负载均衡的速度快.最后使用nginx,效果很不错,下面将在Linux上安装步骤记述一下. 1        安装准备 nginx软件版本:nginx 1.2.5 安装包:rhel_nginx-1.2.5-1.

0013-如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.概述 本文档描述了在Kerberos与非Kerberos的CDH集群之间BDR不可用的情况下实现数据互导.文档主要讲述 1.测试集群环境描述 2.CDH的BDR功能验证 3.集群之间数据复制要求和限制 4.集群之间数据复制的方式 5.使用DistCp复制数据注意事项 6.通过DistCp进行数据互导 这篇文档将着重介绍CDH Kerberos集群与非Kerberos集群之间BDR不可用的情况下实现数据互导,并基于以下假设: 1.

使用分布式数据库集群做大数据分析之OneProxy

一.十亿数据,轻松秒出 实时监控领域有两个显著的特点,一是数据来源很多而且数据量大,有来自监控摄像头.GPS.智能设备等:二是需要实时处理.我们的客户在做实时处理时,就遇到这样的问题.客户的某个数据表中有10亿条记录,希望统计类查询的响应时间在30s以内,而使用单台MySQL的响应时间在300s以上.OneProxy特有的并行查询功能,让响应时间降到10s以内. 二.并行查询前提之分库分表 在互联网+的时代,分库分表已经成为行业的标准解决方案之一.在众多应用中,数据每天都以GB级别递增,其中若干

Mariadb配置Galera集群

一.增加MariaDB源 cd /etc/yum.repos.d vi MariaDB.repo # MariaDB 10.1 CentOS repository list - created 2017-04-20 03:29 UTC # http://downloads.mariadb.org/mariadb/repositories/ [mariadb] name = MariaDB baseurl = http://yum.mariadb.org/10.1/centos6-amd64 gp

LVS集群--->做前端调度器搭建使用

LVS集群--->在这里做前端调度器搭建使用,工作模式用的LVS-nat和LVS-dr. +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++集群:一组通过高速网络互联的计算组,并以单一系统的模式加以管理,服务的是同一网站 集群目低:增加可靠性 提高性能 降低成本 提高可靠扩展性 集群分类:高性能计算集群HPC(工作中用的少):通过以集群开发的并行应用程序,解决复杂的科学问题|(主要是单

【MySQL】容器集群支持数据库实践

京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例.架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理.为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS. 本文重点介绍JDOS如何支持CDS.CDS是更大的话题,后续数据库团队会分享相关实践. 介绍 CDS依赖京东坚实的JDOS技术,生产运行1W+个MySQL容器实例.CDS借助JDOS技术优势获得主要3个方面的技术收益: CDS借助Doc

基于tomcat集群做session共享

前端代理服务器nginx:192.168.223.136 tomcat服务器:采用的一台多实例192.168.223.146:8081,192.168.223.146:8082(如何构建多实例tomcat,请参考前面的文章) 首先查看下tomcat的webapps目录架构: [[email protected] tomcat-instance]# pwd/usr/local/tomcat-instance[[email protected] tomcat-instance]# ll总用量 24-