使用xtrabackup进行MySQL数据库备份

使用xtrabackup进行MySQL数据库备份

一、简介

MySQL自带的mysqldump备份方式是采用逻辑备份,但是它最大的缺陷就是备份和恢复速度慢对于一个小于50G的数据库而言,这个速度还是能接受的,但如果数据库非常大,那再使用mysqldump备份就不太适合了。

目前主流的有两个工具可以实现物理热备:ibbackupxtrabackupibbackup是商业软件,需要授权,非常昂贵。而xtrabackup功能比ibbackup还要强大,但却是开源的。号称免费版的InnoDB HotBackup

官方链接地址:http://www.percona.com/software/percona-xtrabackup;可以下载源码编译安装,也可以下载适合的RPM包或使用yum进行安装或者下载二进制源码包。

Xtrabackup它提供了两种命令行工具:

xtrabackup:专用于备份InnoDBXtraDB引擎的数据;

innobackupex:这是一个perl脚本,在执行过程中会调用xtrabackup命令,这样用该命令即可以实现备份InnoDB,也可以备份MyISAM引擎的对象。

Xtrabackup是由percona提供的mysql数据库备份工具,特点:

(1)备份过程快速、可靠;

(2)备份过程不会打断正在执行的事务;

(3)能够基于压缩等功能节约磁盘空间和流量;

(4)自动实现备份检验;

(5)还原速度快。

二、安装xtrabackup

1、下载xtrabackup

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/tarball/percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz

2、解压

tar zxf percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz

3、进入解压后的目录

cd percona-xtrabackup-2.4.4-Linux-x86_64/

4、复制bin下的所有程序到/usr/bin

cp bin/* /usr/bin/

注:Xtrabackup中主要包含两个工具:

xtrabackup:是用于热备份innodb, xtradb表中数据的工具,支持在线热备份,可以在不加锁的情况下备份Innodb数据表,不过此工具不能操作Myisam引擎表;

innobackupex:是将xtrabackup进行封装的perl脚本,能同时处理Innodb和Myisam,但在处理Myisam时需要加一个读锁。

由于操作Myisam时需要加读锁,这会堵塞线上服务的写操作,而Innodb没有这样的限制,所以数据库中Innodb表类型所占的比例越大,则越有利。

5、安装相关插件

yum -y install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-TermReadKey.x86_64 perl-Digest-MD5

6、下载percona-toolkit并安装

wget https://www.percona.com/downloads/percona-toolkit/2.2.19/RPM/percona-toolkit-2.2.19-1.noarch.rpm
 rpm -vih percona-toolkit-2.2.19-1.noarch.rpm

三、进行xtrabackup完全备份+binlog增量备份

1、创建备份目录

mkdir -p /opt/mysqlbackup/{full,inc}

注:full:全备存放的目录;inc:增量备份存放的目录

2、开启bin-log日志文件

编辑mysql配置文件添加以下内容:

vim /etc/my.cnf
log-bin = /etc/local/mysql/data/mysql-bin

重启mysql服务:

systemctl restart mysqld

3、创建用来测试的数据

mysql -uroot -p123456
mysql> create database test;
mysql> use test;
mysql> create table tb1(id int primary key auto_increment,name varchar(20));
mysql> insert into tb1(name) values(‘zhangsan‘);
mysql> insert into tb1(name) values(‘lisi‘);

4进行完全备份

语法:

innobackupex --user=DBUSER --password=DBUSERPASS  /path/to/BACKUP-DIR/

注:相关选项说明

--user:指定连接数据库的用户名;

--password:指定连接数据库的密码;

/path/to/BACKUP-DIR/:备份文件的存放位置;

--defaults-file:指定数据库的配置文件,innobackupex要从其中获取datadir等信息;

--database:指定要备份的数据库,这里指定的数据库只对MyISAM表有效,对于InnoDB 数据来说都是全备(所有数据库中的InnoDB数据都进行了备份,不是只备份指定的数据库,恢复时也一样)。

--no-timestamp:会阻止命令自动创建一个以时间命名的目录;如此一来,innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据

进行全库备份:

innobackupex --user=root --password=123456 /opt/mysqlbackup/full

出现以下提示,表示成功

在备份的同时,备份数据会在备份目录下创建一个以当前日期时间为名字的目录存放备份文件:

注:各文件说明

xtrabackup_checkpoints备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;

每个InnoDB页(通常为16k大小)都会包含一个日志序列号,即LSN。LSN是整个数据库系统的系统版本号,每个页面相关的LSN能够表明此页面最近是如何发生改变的。

xtrabackup_binlog_infomysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。

xtrabackup_binlog_pos_innodb二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position。

xtrabackup_binary备份中用到的xtrabackup的可执行文件;

backup-my.cnf备份命令用到的配置选项信息;

注意:备份数据库的用户需要具有相应权限,如果要使用一个最小权限的用户进行备份,则可基于如下命令创建此类用户:

mysql> create user ‘bkpuser‘@‘localhost‘ identified by ‘123456‘;
mysql> revoke all privileges,grant option from ‘bkpuser‘@‘localhost‘;
mysql> grant reload,lock tables,replication client, process on *.* to ‘bkpuser‘@‘localhost‘;
mysql> flush privileges;

5、进行增量备份

查看完全备份时binlog日志位置(position):

模拟数据库修改:

mysql> use test
mysql> insert into tb1(name) values(‘wangwu‘);
mysql> insert into tb1(name) values(‘zhaoliu‘);
mysql> exit

增量备份二进制文件:

mysqlbinlog --start-position=1049 /usr/local/mysql/data/mysql-bin.000001 > /opt/mysqlbackup/inc/`date -I`.sql

6、模拟数据库损坏:

rm -fr /usr/local/mysql/data/*

7、还原完全备份:

(1)准备(prepare)一个完全备份

一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。在准备(prepare)过程结束后,InnoDB表数据已经前滚到整个备份结束的点,而不是回滚到xtrabackup刚开始时的点。

innobakupex命令的--apply-log选项可用于实现上述功能。如下面的命令:

innobackupex --apply-log /opt/mysqlbackup/full/2016-09-12_11-29-55/

--apply-log指明是将日志应用到数据文件上,完成之后将备份文件中的数据恢复到数据库中

注:/opt/mysqlbackup/full/2016-09-12_11-29-55/备份文件所在目录名称

如果执行正确,其最后输出的几行信息通常如下:

在实现“准备”的过程中,innobackupex通常还可以使用--use-memory选项来指定其可以使用的内存的大小,默认通常为100M。如果有足够的内存可用,可以多划分一些内存给prepare的过程,以提高其完成速度。

(2)还原数据库:

innobackupex命令的--copy-back选项用于执行恢复操作,其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。

 innobackupex --copy-back /opt/mysqlbackup/full/2016-09-12_11-29-55/

这里的--copy-back指明是进行数据恢复。数据恢复完成之后,需要修改相关文件的权限mysql数据库才能正常启动。

如果执行正确,其输出信息的最后几行通常如下:

 请确保如上信息的最行一行出现“completed OK!”。

当数据恢复至DATADIR目录以后,修改还原后的数据目录属主属组为root所以还需将该目录属主属组改为mysql:

 chown -R mysql:mysql /usr/local/mysql/data/

重启动MySQL:

 systemctl restart mysqld

验证还原后的数据:

8、还原增量备份

为了防止还原时产生大量的二进制日志,在还原时可临时关闭二进制日志后再还原:

mysql> set sql_log_bin=0;
mysql> source /opt/mysqlbackup/inc/2017-03-21.sql

重新启动二进制日志并验证还原数据:

mysql> set sql_log_bin=1;

验证数据是否恢复回来

时间: 2024-10-24 15:25:05

使用xtrabackup进行MySQL数据库备份的相关文章

xtrabackup进行MySQL数据库备份/还原

http://hongge.blog.51cto.com/ 使用xtrabackup进行MySQL数据库备份 前面介绍mysqldump备份方式是采用逻辑备份,其最大的缺陷就是备份和恢复速度都慢,对于一个小于50G的数据库而言,这个速度还是能接受的,但如果数据库非常大,那再使用mysqldump备份就不太适合了. 这时就需要一种好用又高效的工具,xtrabackup就是其中一款,号称免费版的InnoDB HotBackup. Xtrabackup实现是物理备份,而且是物理热备 目前主流的有两个工

基于Xtrabackup进行MySQL数据库备份

一.Xtrabackup备份恢复原理 备份innodb表时,xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)中.在此过程中,发生的物理写操作越多,xtrabackup_logfile越大.在拷贝完成后的第一个prepare阶段,xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事务回滚.如果同时需要备份myisam表以及i

利用Xtrabackup进行mysql数据库的备份

利用Xtrabackup来实现数据库的备份 Xtrabackup是有percona公司开发的一款开源备份工具,它与ibbackup这个备份工具不同的是.ibbackup是一个收费的备份工具,而且在其备份性能上,ibbackup不如Xtrabackup.ibbackup和Xtrabackup都对Innodb存储引擎支持在线物理完全备份和在线物理增量备份,对MyISAM存储引擎来说,只支持温备份而已.更对关于两者的特性比较,请参考http://www.percona.com/software/per

Xtrabackup原理及使用innobackupex进行MySQL数据库备份恢复

Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具. Xtrabackup中主要包含两个工具: xtrabackup:是用于热备份innodb, xtradb表中数据的工具,不能备份其他类型的表,也不能备份数据表结构: innobackupex:是将xtrabackup进行封装的perl脚本,可以备份和恢复MyISAM表以及数据表结构. 一段官方文档的说明: http://www.per

利用XtraBackup实现MySQL物理备份恢复

Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点: (1)备份过程快速.可靠: (2)备份过程不会打断正在执行的事务: (3)能够基于压缩等功能节约磁盘空间和流量: (4)自动实现备份检验: (5)还原速度快: Xtrabackup中主要包含两个工具: xtrabackup:是用于热备份innodb, xtradb表中数据的工具,不能备份其他类型的表,也不能备份数据表结构: in

浅谈MySQL数据库备份的几种方法

mysql常见的备份方式有:mysqldump.mysqlhotcopy.BACKUP TABLE .SELECT INTO OUTFILE,又或者备份二进制日志(binlog),还可以是直接拷贝数据文件和相关的配置文件.MyISAM 表是保存成文件的形式,因此相对比较容易备份,上面提到的几种方法都可以使用.Innodb 所有的表都保存在同一个数据文件 ibdata1 中(也可能是多个文件,或者是独立的表空间文件),相对来说比较不好备份,免费的方案可以是拷贝数据文件.备份 binlog,或者用 

mysql数据库备份方法总结

今天有点时间,自己总结下mysql备份的几种方法以备查阅! 生产环境中数据无疑是一个公司的命脉,作为一个运维工程师无法保证企业数据的安全,那么是一个不合格的工程师.我们如何保证数据不丢失.或者丢失后快速恢复呢?下面介绍mysql数据库备份和恢复方法. MYSQL基础知识总结 1.为什么需要备份数据? 生成环境中我们的数据库可能会遭遇各种各样的不测导致数据丢失,大概有几种情况(硬件故障.软件故障.自然灾害.黑客攻击.误操作(占比最大))所以,为了在数据丢失后能恢复数据,我们就必须定期备份数据,备份

Xtrabackup 对MYSQL进行备份还原

在操作MYSQL中注意两个概念: 干什么都记得 flush privileges; grant all on *.* to [email protected]'localhost' identified by 'password'  WITH GRANT OPTION  记得要加WITH GRANT OPTION ========================= 2,RDS MySQL 使用开源软件 Xtrabackup 对 MySQL 数据库进行备份.需要下载该软件,然后使用该软件进行恢复.

MySQL数据库备份详解

原文:MySQL数据库备份详解 对于任何数据库来说,备份都是非常重要的 数据库复制不能取代备份的作用 比如我们由于误操作,在主数据库上删除了一些数据,由于主从复制的时间很短,在发现时,从数据库上的数据可能也已经被删除了, 我们不能使用从数据库上的数据来恢复主数据库上的数据,只能通过备份进行误删除数据的恢复 一. 备份的分类 1.按备份的结果来分: 逻辑备份 其备份结果为SQL语句,适合于所有存储引擎,恢复时需要较多时间,逻辑备份时,对于MyISAM存储引擎是需要进行锁表操作的,通过使用的mysq