采用mydumper对MySQL部分数据库进行热备

现有2台DB服务器,分别用于A业务与B业务,其中A业务比较重要,需要对A业务的1个DB(TaeOss)进行热备,大概有40G的数据,并用业务B的DB服务器作为备机,服务器分布如下:

10.137.143.151     A业务

10.137.143.152     B业务

开发那边的要求是:

在导出A业务的DB(TaeOss)时,不能对A业务有影响。同时在B业务的DB服务器上进行恢复时,也不能有较大影响,尽量控制在1分钟以内。

采取的方案:

1、mysqldump:属于逻辑备份,会存在锁表,但考虑到数据量比较大,锁表的时间会比较长,业务不允许,pass掉;

2、xtrabackup:属于物理备份,不存在锁表,但考虑到2台DB使用的都是共享表空间,同时在业务B的数据库进行恢复时,一是时间比较长,二是数据肯定不正确,pass掉(测试过);

3、mydumper:属于逻辑备份,是一个多线程、高性能的数据逻辑备份、恢复的工具,且锁表的时间很短(40G数据,10分钟以内),同时会记录binlog file和pos,业务可以接受。

mydumper主要有如下特性:

(1)、任务速度要比mysqldump快6倍以上;

(2)、事务性和非事务性表一致的快照(适用于0.2.2以上版本);

(3)、快速的文件压缩;

(4)、支持导出binlog;

(5)、多线程恢复(适用于0.2.1以上版本);

(6)、以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本)。

mydumper安装:

https://launchpad.net/mydumper/0.6/0.6.2/+download/mydumper-0.6.2.tar.gz

# yum install glib2-devel mysql-devel zlib-devel pcre-devel

# tar zxvf mydumper-0.6.2.tar.gz

# cd mydumper-0.6.2

# cmake .

# make

# make install

参数如下:

由于DB是部署在比较老的SuSE Linux 10服务器上,安装mydumper时依赖的库比较多,会比较繁琐,同时采用本地备份的话,也会占用大量的磁盘I/O,所以我们选择在同网段的另一台centos 6.4(10.137.143.156)服务器进行备份。

步骤如下:

1、在“10.137.143.151、10.137.143.152”上对“10.137.143.156”进行临时授权

# mysql -uroot -e "grant all privileges on *.* to ‘backup‘@‘10.137.143.156‘ identified by ‘backup2015‘;"

# mysql -uroot -e "flush privileges;"

2、在“10.137.143.156”上对“10.137.143.151”的DB(TaeOss)进行备份

# mydumper -h 10.137.143.151 -u backup -p backup2015 -B TaeOss -t 8 -o /data/rocketzhang

3、将备份数据恢复到“10.137.143.152”

# myloader -h 10.137.143.152 -u backup -p backup2015 -B TaeOss -t 8 -o -d /data/rocketzhang

4、主从关系建立:10.137.143.151(主)、10.137.143.152(从)

在“10.137.143.151”建立授权账号:

# mysql -uroot -e "grant replication slave on *.* to ‘repl‘@‘10.137.143.152‘ identified by ‘repl123456‘;"

# mysql -uroot -e "flush privileges;"

在“10.137.143.156”查看记录下的binlog信息:

在“10.137.143.152”如下操作:

# vim /etc/my.cnf

……

replicate-do-table = TaeOss.%

replicate-wild-do-table = TaeOss.%

……

# service mysqld reload

# mysql -uroot -e "change master to master_host=‘10.137.143.151‘,master_user=‘repl‘,master_password=‘repl123456‘,master_log_file=‘mysql-bin.002205‘,master_log_pos=456584891;"

# mysql -uroot -e "start slave;"

# mysql -uroot -e "show slave status\G;"

出现如下信息:

看来是存在主键冲突,导致主从复制失败。

问题分析:

在主DB(10.137.143.151)上执行:

# mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS mysql-bin.002205 > mysql-bin.002205.txt

# grep -C 8 529864938 mysql-bin.002205.txt

大概的意思是,在主DB上存在对t_evil_detect_uin_blacklist表的insert操作时,发生了主键冲突,当在从端进行同步的时候,也出现了主键冲突,从而导致主从同步失败。

临时的解决办法:

导出从端的表TaeOss.t_evil_detect_uin_blacklist

# mysqldump -uroot --opt TaeOss t_evil_detect_uin_blacklist > TaeOss.t_evil_detect_uin_blacklist.sql

去掉TaeOss.t_evil_detect_uin_blacklist.sql其中的主键语句:

然后再导入:

# mysql -uroot TaeOss < TaeOss.t_evil_detect_uin_blacklist.sql

# mysql -uroot -e "stop slave;"

# mysql -uroot -e "start slave;"

# mysql -uroot -e "show slave status\G;"

时间: 2024-12-18 14:19:08

采用mydumper对MySQL部分数据库进行热备的相关文章

Mysql 数据库双机热备的配置方法

Mysql 数据库双机热备的配置方法 mysql数据库没有增量备份的机制,当数据量太大的时候备份是一个很大的问题.还好mysql数据库提供了一种主从备份的机制,其实就是把主数据库的所有的数据同时写到备份数据库中. 1.mysql数据库没有增量备份的机制,当数据量太大的时候备份是一个很大的问题.还好mysql数据库提供了一种主从备份的机制,其实就是把主数据库的所有的数据同时写到备份数据库中.实现mysql数据库的热备份. 2.要想实现双机的热备首先要了解主从数据库服务器的版本的需求.要实现热备my

MySQL 5.6 双机热备

MySQL 5.6 双机热备 目录: 1.说明 2.数据手工同步 3.修改主数据库配置文件 4.修改从数据库配置文件 5.主数据库添加备份用户 6.从数据库设置为Slave 7.验证 1.说明   1)数据库版本要高于5.1 2)从数据库的版本要 >= 主数据库服务器的版本 3)数据库操作所用工具为 :Navicat for MySQL 4)主数据库IP:192.168.1.105 从数据库IP:192.168.1.103 2.数据手工同步   目的:自动同步前,保证两个数据库的数据相同. 1)

Linux 下mysql的双主热备

Linux 下mysql的双主热备                             作者:浩浩哥来了 1.数据库同步设置   主机操作系统:RedHatEnterprise Linux 6 数据库版本 前提:MYSQL数据库正常启动 假设两台主机地址分别为:   ServA:192.168.18.112 ServB:192.168.18.114   注意:操作前,全文查找替换,将server A.B替换成实际IP   2.配置同步账号   在ServA上增加一个ServB可以登录的帐号:

数据库双机热备(代码实现)

sql server 2008提供3种高可用性方案: 分发/订阅方式:传送事务日志方式:镜像方式. 前者的主机(A服务器),和备机(B服务器)上的数据库可同时访问(当然B上的数据库会有一部分数据延迟),后两者的B服务器上数据库处于“正在还原”状态,不可读写(即不能分任务负载). 分发/订阅方式: 粒度为表/存储过程/函数/视图...的级别.异步将A服务器上的对象变化/或事务/或快照,传到分发服务器,再传到N个订阅服务器. 事务传送日志方式:粒度为数据库级别.A服务器上备份数据库,放到B上去还原,

Mysql+Keepalived双主热备高可用操作步骤详细解析

mysql+keepalived双主热备高可用的介绍: 我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.MySQL双主复制,即互为Master-Slave(只有一个Master提供写操作),可以实现数据库服务器的热备,但是一个Master宕机后不能实现动态切换.使用Keepalived,可以通过虚拟IP,实现双主对外的统一接口以及自动检查.失败切换机制,从而实现MySQL数据库的

Mycat+Mysql主从复制实现双机热备

Mycat+Mysql主从复制实现双机热备 一.mysql主从配置原理 双机热备的概念简单说一下,就是要保持两个数据库的状态自动同步.对任何一个数据库的操作都自动应用到另外一个数据库,始终保持两个数据库中的数据一致. 这样做有如下几点好处: 1. 可以做灾备,其中一个坏了可以切换到另一个. 2. 可以做负载均衡,可以将请求分摊到其中任何一台上,提高网站吞吐量. 对于异地热备,尤其适合灾备. 二.mysql 主从备份工作原理 简单的说就是把 一个服务器上执行过的sql语句在别的服务器上也重复执行一

数据库双机热备

数据库镜像相对于日志传送,数据库镜像显然更高一级.在最简单的形式下,它其实与日志传送的工作原理相似,但是生产服务器发送事务到镜像服务器的频率要高得多,这意味着更新速度也要快很多.对于数据库镜像来说,故障转移功能也是需要手动完成.但是你可以添加第三个SQLServer,称为witness.Witness 可以作为一个普通的SQL Server,但是一直留意着其它两个镜像服务器.当主镜像发生故障,witness 可以让第二个镜像接管操作,类似一种自动的故障转移.在故障转移时,任何进行中的客户端事务都

Mysql+keeoalived双主热备高可用操作记录

我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.之前梳理了Mysql主从同步,下面说下Mysql+keeoalived双主热备高可用方案的实施. 1)Keepalived的工作原理是VRRP(Virtual Router Redundancy Protocol)虚拟路由冗余协议.在VRRP中有两组重要的概念:VRRP路由器和虚拟路由器,主控路由器和备份路由器. 2)VRRP路由器

Mysql+Keepalived双主热备高可用操作记录

环境: ubuntu18.04.2 mysql5.7.21 1 #1)安装keepalived并将其配置成系统服务.master1和master2两台机器上同样进行如下操作: 2 apt-get install libssl-dev 3 apt-get install openssl 4 apt-get install libpopt-dev 5 [[email protected] ~]# cd /usr/local/src/ 6 [[email protected] src]# wget h