percona-xtrabackup实现数据库备份和灾难恢复

目录

1、工具介绍

2、工具安装

3、备份策略及准备测试数据

4、全备份数据

5、增量备份数据

6、灾难恢复

7、总结

1、工具介绍

percona-xtrabackup软件包中中包含了两个工具，一个是xtrabackup，另一个是innobackupex，innobackupex由per进行封装，在对innodb表进行备份时会自动调用xtraback工具，所以对InnoDB表做备份的实际是xtrabackup这个工具，xtrabackup也只能对innodb表做备份，这是一个专门对innodb开发的热备工具，而对myisam这样的其他引擎的表则由innobackupex来负责备份，若是全备份加增量的方案，那每次增量innobackupex工具对非innodb表都是全备份且会请求读锁。

xtrabackup对innodb表进行备份时不再只是简单复制文件，而是利用在innodb存储引擎层中的LSN（日志序列号）的新旧来识别这一数据页是否需要备份。

xtraback工具对innodb引擎完美支持真正的热备份，备份好的数据中数据文件与事务日志的文件因innodb cache等因素的存在，所以备份好的数据和事务日志中的数据往往是不一致的，所以，在做数据恢复时需要把事务日志中已提交的事务做redo，没有提交的事务做undo操作，这就是在做数据恢复时要做的准备工作，即prepare。

2、工具安装

系统环境：

[[email protected] ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m
[[email protected] software]# uname -r
2.6.32-358.el6.x86_64

安装依赖包及percona-xtrabackup：

[[email protected] ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
[[email protected] ~]# rpm -ivh percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm  #安装的2.1.9版本

顺便把percona的工具集装上：

[[email protected] ~]# yum -y install perl-IO-Socket-SSL  #percona-toolkit依赖包
[[email protected] ~]# rpm -ivh percona-toolkit-2.2.13-1.noarch.rpm

3、备份策略及准备测试数据

采用先全备份加增量备份的方案。在利用xtrabackup对innodb表做备份工作时，建议mysql启用“innodb_file_per_table=1”变量，这样使每表都有一个自己的表空间，不然很难进行单表备份和还原。还有一点建议，二进制日志文件就不要与数据文件放在同一个目录了，你不想当数据丢失时，二进制日志也一同丢了。

测试数据：

mysql> SELECT VERSION();
+------------+
| VERSION()  |
+------------+
| 5.5.36-log |
+------------+
1 row in set (0.00 sec)
mysql> SHOW DATABASES; #创建了一个mydb1数据库
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mydb1              |
| mysql              |
| performance_schema |
| test               |
+--------------------+
mysql> SELECT * FROM mydb1.tb1; #表中只有一条数据
+----+------+------+
| id | name | age  |
+----+------+------+
|  1 | tom  |   10 |
+----+------+------+

创建备份数据存放目录：

[[email protected] ~]# mkdir -pv /backup/{fullbackup,incremental}
#fullbackup  存放全备份数据
#incremental 存放增量备份数据

创建复制用户：

mysql> GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO ‘bkuser‘@‘localhost‘ IDENTIFIED BY ‘123456‘;
mysql> FLUSH PRIVILEGES;

4、全备份数据

[[email protected] ~]# innobackupex --user=bkuser --password=123456 /backup/fullbackup/
#最后出现“150415 16:30:23  innobackupex: completed OK!”这样的信息表示备份完成
[[email protected] ~]# ls /backup/fullbackup/2015-04-15_16-30-19/
backup-my.cnf  mysql               xtrabackup_binary       xtrabackup_logfile
ibdata1        performance_schema  xtrabackup_binlog_info
mydb1          test                xtrabackup_checkpoints
[[email protected] ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1644877
last_lsn = 1644877
compact = 0

5、增量备份数据

先做一些数据修改：

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES (‘jack‘,20);
mysql> SELECT * FROM tb1;  #增加一条数据
+----+------+------+
| id | name | age  |
+----+------+------+
|  1 | tom  |   10 |
|  2 | jack |   20 |
+----+------+------+

做第一次增量备份：

[[email protected] ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/fullbackup/2015-04-15_16-30-19/
[[email protected] ~]# ls /backup/incremental/2015-04-15_16-42-00/
backup-my.cnf  mydb1               test                    xtrabackup_checkpoints
ibdata1.delta  mysql               xtrabackup_binary       xtrabackup_logfile
ibdata1.meta   performance_schema  xtrabackup_binlog_info
[[email protected] ~]# cat /backup/incremental/2015-04-15_16-42-00/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1644877  #这是全备时的"to_lsn"值
to_lsn = 1645178
last_lsn = 1645178
compact = 0

再做数据修改：

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES (‘jason‘,30);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name  | age  |
+----+-------+------+
|  1 | tom   |   10 |
|  2 | jack  |   20 |
|  3 | jason |   30 |
+----+-------+------+

做第二次增量备份：

[[email protected] ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/incremental/2015-04-15_16-42-00/
#这里的"--incremental-basedir"是指向第一次增量备份的目录
[[email protected] ~]# ls /backup/incremental/2015-04-15_16-49-07/
backup-my.cnf  mydb1               test                    xtrabackup_checkpoints
ibdata1.delta  mysql               xtrabackup_binary       xtrabackup_logfile
ibdata1.meta   performance_schema  xtrabackup_binlog_info
[[email protected] ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1645178 #这是第一次增量的"to_lsn"值
to_lsn = 1645463
last_lsn = 1645463
compact = 0

再来做一次数据修改，以便演示根据二进制日志做时间点的恢复：

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES (‘lucky‘,40);
mysql> SELECT * FROM tb1;
+----+-------+------+
| id | name  | age  |
+----+-------+------+
|  1 | tom   |   10 |
|  2 | jack  |   20 |
|  3 | jason |   30 |
|  4 | lucky |   40 |
+----+-------+------+

6、灾难恢复

6.1、数据破坏

[[email protected] ~]# service mysqld stop
Shutting down MySQL.. SUCCESS!
[[email protected] ~]# rm -rf /mnt/mydata/data/*  #把数据目录数据全部删除

我对于xtrabackup做数据恢复的理解：

xtrabackup做数据恢复与mysqldump这样的逻辑备份工作的恢复有很大的区别，xtrabackup进行数据恢复时需要把各个增量的数据备份与全备份的数据进行合并，对每次增量备份的合并只能将已提交的事务进行重放(redo)，对合备份的数据恢复也只能做redo操作，把各个增量都合并完成后再把没有提交的事务进行回滚(undo)操作，合并完增量备份后，全备份的“xtrabackup_checkpoints”文件中的“last_lsn”应该是最后一次增量备份时的值，这些合并做redo的过程就是恢复数据前的准备工作（prepare）。

而真正在做数据恢复，建议先把全备和增量备份的文件都copy一份为副本，避免操作失误导致备份文件的损坏。

6.2、数据恢复的准备(prepare)工作

[[email protected] ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/
#准备全备份的数据
[[email protected] ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-42-00/
#准备第一次增量数据
[[email protected] ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-49-07/
#准备第二次增量数据
[[email protected] ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1645463 #这是最后一次增量备份的位置，到此数据已全部合并
last_lsn = 1645463
compact = 0

6.3、真正数据恢复

[[email protected] ~]# innobackupex --copy-back /backup/fullbackup/2015-04-15_16-30-19/  #仅一个“--copy-back”选项
[[email protected] ~]# ls /mnt/mydata/data/
ibdata1  mydb1  mysql  performance_schema  test
[[email protected] ~]# chown -R mysql.mysql /mnt/mydata/data/  #修改恢复数据的属主与属组
[[email protected] ~]# service mysqld start
Starting MySQL.. SUCCESS!
mysql> SELECT * FROM mydb1.tb1;  #检查数据
+----+-------+------+
| id | name  | age  |
+----+-------+------+
|  1 | tom   |   10 |
|  2 | jack  |   20 |
|  3 | jason |   30 |
+----+-------+------+
#lucky信息还没有恢复

6.4、利用二进制日志文件基于时间点恢复

查看最后一次增量备份时的二进制日志文件及position信息：

[[email protected] ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_binlog_info
mysql-bin.000031	1665 
[[email protected] ~]# mysqlbinlog --start-position=1665 /var/log/mysql_log/mysql-bin.000031 > /tmp/position.sql
#用mysqlbinlog工具导出最后一次增量备份后的sql操作

导入数据：

mysql> source /tmp/position.sql
mysql> SELECT * FROM mydb1.tb1;
+----+-------+------+
| id | name  | age  |
+----+-------+------+
|  1 | tom   |   10 |
|  2 | jack  |   20 |
|  3 | jason |   30 |
|  4 | lucky |   40 |
+----+-------+------+
#数据全部恢复

7、总结

利用innobackupex工具可对在有混合存储引擎的场景下对数据库进行全备份，当是备份innodb表时innobackupex脚本内部会

自动调用xtrabackup工具来进行备份操作，在数据还原时应停止mysql实例，清空数据目录，然后先做prepare准备工作，第二步才是真正的数据还原（--copy-back），数据还原到数据目录后不要忘记修改数据目录的权限。

当然innobackupex工具也能实现对单库单表的导出、导出，如果是对Innodb表，那建议直接用xtrabackup工具，这样更直观的使用各个选项进行备份。

有一个疑问：

在做全备份时，innobackupex会去备份非innodb表，在从innobackupex备份时输出结果观察它会“150412 23:17:22  innobackupex: Starting to lock all tables... ”锁定所有的表，不知道这里“锁定所有表”是否包括innodb表？如果会，那xtrabackup就不是真正的热备份工具。

时间： 2024-11-07 10:08:11

percona-xtrabackup实现数据库备份和灾难恢复的相关文章

Percona XtraBackup 关于 MySQL备份还原的详细测试

一. Percona XtraBackup 的优点. (1)无需停止数据库进行InnoDB热备: (2)增量备份MySQL: (3)流压缩传输到其它服务器: (4)在线移动表: (5)能够比较容易地创建主从同步: (6)备份MySQL时不会增大服务器负载. 二. Percona XtraBackup 工具集组成 在旧版本中,Percona XtraBackup 工具集里主要包含两个程序:innobackupex 和 xtrabackup. xtrabackup是C/C++编译的二进制程序,用来备

Percona Xtrabackup对数据库进行部分备份

Xtrabackup也可以实现部分备份,即只备份某个或某些指定的数据库或某数据库中的某个或某些表.但要使用此功能,必须启用innodb_file_per_table选项,即每张表保存为一个独立的文件.同时,其也不支持--stream选项,即不支持将数据通过管道传输给其它程序进行处理. 此外,还原部分备份跟还原全部数据的备份也有所不同,即你不能通过简单地将prepared的部分备份使用--copy-back选项直接复制回数据目录,而是要通过导入表的方向来实现还原.当然,有些情况下,部分备份也可以直

使用xtrabackup进行数据库备份周日全量+日增量备份脚本

相信很多做运维的小伙伴都会用到mysql数据库,以下提供一个脚本与诸君分享. #!/bin/bashSCRIPT_DIR=$(dirname $0)BACKUP_DIR="/data1/mysqlbackup"BACKUP_DAYS=480rm -rf ${BACKUP_DIR}/*DB_IP=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:&q

Percona XtraBackup 备份还原篇

Percona XtraBackup 安装介绍篇已经对Percona XtraBackup的功能和安装做了比较详细的介绍,那么本篇我们直接进入主题,如何使用XtraBackup做备份.还原,下面主要介绍XtraBackup备份还原操作的细节和场景,疏漏之处难免存在,如有不足,敬请指出.本篇暂时不做原理介绍,后续篇章"Percona XtraBackup 原理分析篇"再做介绍.   XtraBackup完整备份   备份的权限 使用XtraBack做备份,需要连接到数据库服务器并在服务器

Xtrabackup进行MySQL备份

1.简介 xtrabackup是percona的MySQL数据库备份工具.一款开源的能够对innodb和xtradb进行热备的工具. 1>其备份过程快速,可靠 2>能够基于压缩功能等节约磁盘和流量 3>备份过程不会中断正在执行的事务 4>还原速度快:自动实现备份检验 2.备份的实现 1>完全备份 innobackupex --user=DBUSER --password=DBUSERPASSWORD /path/to/backup_dir 使用innobakupex备份时,其

Percona Xtrabackup备份mysql全库及指定数据库(完整备份与增量备份)

原文地址:http://www.tuicool.com/articles/RZRnq2 Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份 同样需要加表锁).XtraBackup支持所有的Percona Server.MySQL.MariaDB和Drizzle. XtraBackup优势 : 1.无需停止数据库进行InnoDB热备 2.增量备份MySQL 3.流

Percona Xtrabackup备份mysql大数据库(完整备份与增量备份)

Percona Xtrabackup备份mysql大数据库(完整备份与增量备份) 文章目录 [隐藏] Xtrabackup简介 Xtrabackup安装 Xtrabackup工具介绍 innobackupex使用方法 完整备份及还原 增量备份及还原 Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁).XtraBackup支持所有的Percona

MariaDB之基于Percona Xtrabackup备份大数据库[完整备份与增量备份]

MariaDB之基于Percona Xtrabackup备份大数据库[完整备份与增量备份] 1.Xtrabackup的安装 MariaDB之基于Percona Xtrabackup备份大数据库[完整备份与增量备份]

Percona Xtrabackup备份mysql全库及指定数据库(转)

原文:http://www.drupal001.com/2014/02/percona-xtrabackup-mysql/ Xtrabackup简介 Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁).XtraBackup支持所有的Percona Server.MySQL.MariaDB和Drizzle. XtraBackup优势 : 1.无需停止数据库进行InnoDB热