MySQL生产库之Xtrabackup物理备份

在生产环境中，我们一般采取mysqldump全库备份，但这对于大型数据库是不可用的，因为mysqldump是逻辑备份，备份和恢复的效率缓慢，根据个人经验给出一个临界值的话，500G以下的数据库可以用mysqldump来进行全库备份，500G以上的数据库则需要物理全库备份，甚至是增量备份。Xtrabackup是物理备份，其备份速度也因其物理特性远超逻辑备份的速度，而且Xtrabackup就是为了逻辑备份而生的，接下来演示一下Xtrabackup是如何完成对数据库的全备和增备的。

一：首先我们安装xtrabackup软件

该tar包可自行百度下载。

[[email protected] ~]# tar xvf percona-xtrabackup-2.1.8-733-Linux-x86_64.tar.gz
[[email protected] ~]# mkdir -p /usr/local/xtrabackup
[[email protected] ~]#cp -rp  percona-xtrabackup-2.1.8-Linux-x86_64/* /usr/local/xtrabackup

将上述目录添加到系统环境变量
[[email protected] bin]# echo export PATH=$PATH:/usr/local/xtrabackup/bin >>/etc/profile
[[email protected] bin]# source /etc/profile
[[email protected] yum.repos.d]# yum install perl-Time-HiRes
[[email protected] bin]# yum install perl-DBD-MySQL*

二：创建备份目录

[[email protected] ~]#mkdir -p
/databackup/xtrabackup

[[email protected] ~]#mkdir
-p /databackup/xtrabackuplog

 

三：数据库授予备份用户相关权限

mysql > grant
SELECT,RELOAD,SHOW DATABASES,SUPER,LOCK TABLES,REPLICATION CLIENT,SHOW VIEW,EVENT,FILE on *.* to [email protected]‘localhost‘ identified by ‘MANAGER‘;

四：执行本文的自动化的备份脚本

[[email protected] ~]#vi xtrabackup.sh
#backup.sh
#!/bin/sh
#on xtrabackup 2.1.8
# 第一次执行它的时候它会检查是否有完全备份,否则先创建一个全库备份
# 当你再次运行它的时候，它会根据脚本中的设定来基于之前的全备或增量备份进行增量备份
##################
#author [email protected]#
##################
INNOBACKUPEX_PATH=innobackupex  #INNOBACKUPEX的命令
INNOBACKUPEXFULL=/usr/local/xtrabackup/bin/$INNOBACKUPEX_PATH  #INNOBACKUPEX的命令路径
#mysql目标服务器以及用户名和密码
MYSQL_CMD="--host=localhost --user=backup --password=MANAGER --port=3306"  
MYSQL_UP=" --user=backup --password=‘MANAGER‘ --port=3306"  #mysqladmin的用户名和密码
TMPLOG="/tmp/innobackupex.$$.log"
MY_CNF=/etc/my.cnf #mysql的配置文件
MYSQL=/usr/local/mysql/bin/mysql
MYSQL_ADMIN=/usr/local/mysql/bin/mysqladmin
BACKUP_DIR=/databackup/xtrabackup # 备份的主目录
FULLBACKUP_DIR=$BACKUP_DIR/full # 全库备份的目录
INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量备份的目录
FULLBACKUP_INTERVAL=82800 # 全库备份的间隔周期，时间：秒
KEEP_FULLBACKUP=3 # 至少保留几个全库备份
logfiledate=backup.`date +%Y%m%d%H%M`.txt
#开始时间
STARTED_TIME=`date +%s`
#############################################################################
# 显示错误并退出
#############################################################################
error()
{
    echo "$1" 1>&2
    exit 1
}
 
# 检查执行环境
if [ ! -x $INNOBACKUPEXFULL ]; then
  error "$INNOBACKUPEXFULL未安装或未链接到/usr/bin."
fi
 
if [ ! -d $BACKUP_DIR ]; then
  error "备份目标文件夹:$BACKUP_DIR不存在."
fi
 
mysql_status=`netstat -nl | awk ‘NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}‘`
if [ "$mysql_status" != "Yes" ];then
    error "MySQL 没有启动运行."
fi
 
if ! `echo ‘exit‘ | $MYSQL -s $MYSQL_CMD` ; then
 error "提供的数据库用户名或密码不正确!"
fi
 
# 备份的头部信息
echo "----------------------------"
echo
echo "$0: MySQL备份脚本"
echo "开始于: `date +%F‘ ‘%T‘ ‘%w`"
echo
 
#新建全备和差异备份的目录
mkdir -p $FULLBACKUP_DIR
mkdir -p $INCRBACKUP_DIR
#查找最新的完全备份
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
 
# 查找最近修改的最新备份时间
LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`
#如果全备有效进行增量备份否则执行完全备份
if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then
# 如果最新的全备未过期则以最新的全备文件名命名在增量备份目录下新建目录
echo -e "完全备份$LATEST_FULL_BACKUP未过期,将根据$LATEST_FULL_BACKUP名字作为增量备份基础目录名"
echo "   "
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
mkdir -p $NEW_INCRDIR
# 查找最新的增量备份是否存在.指定一个备份的路径作为增量备份的基础
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`
if [ ! $LATEST_INCR_BACKUP ] ; then
INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP
echo -e "增量备份将以$INCRBASEDIR作为备份基础目录"
echo "   "
else
INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}
echo -e "增量备份将以$INCRBASEDIR作为备份基础目录"
echo "   "
fi
echo "使用$INCRBASEDIR作为基础本次增量备份的基础目录."
$INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1
#保留一份备份的详细日志
cat $TMPLOG>/databackup/xtrabackuplog/$logfiledate
if [ -z "`tail -1 $TMPLOG | grep ‘innobackupex: completed OK!‘`" ] ; then
 echo "$INNOBACKUPEX命令执行失败:"; echo
 echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"
 cat $TMPLOG
 rm -f $TMPLOG
 exit 1
fi
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"‘\" ) ; print p[2] }" $TMPLOG`
rm -f $TMPLOG
echo -n "数据库成功备份到:$THISBACKUP"
echo
# 提示应该保留的备份文件起点
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`
echo
echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #红色
echo -e "必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目录中所有增量备份."
echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #红色
echo
else
echo  "*********************************"
echo -e "正在执行全新的完全备份...请稍等..."
echo  "*********************************"
$INNOBACKUPEXFULL --defaults-file=$MY_CNF  --use-memory=4G  $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1 
#保留一份备份的详细日志
cat $TMPLOG>/databackup/xtrabackuplog/$logfiledate
if [ -z "`tail -1 $TMPLOG | grep ‘innobackupex: completed OK!‘`" ] ; then
 echo "$INNOBACKUPEX命令执行失败:"; echo
 echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"
 cat $TMPLOG
 rm -f $TMPLOG
 exit 1
fi
 
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"‘\" ) ; print p[2] }" $TMPLOG`
rm -f $TMPLOG
echo -n "数据库成功备份到:$THISBACKUP"
echo
# 提示应该保留的备份文件起点
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
echo
echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #红色
echo -e "无增量备份,必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}."
echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #红色
echo
fi
#删除过期的全备
echo -e "find expire backup file...........waiting........."
echo -e "寻找过期的全备文件并删除">>/databackup/xtrabackuplog/$logfiledate
find $FULLBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};
#删除过期的增备
echo -e "寻找过期的增备文件并删除" >>/databackup/xtrabackuplog/$logfiledate
find $INCRBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};
echo
echo "完成于: `date +%F‘ ‘%T‘ ‘%w`"
exit 0

五：验证结果

脚本执行完毕后，则会在/databackup/xtrabackup下创建两个文件夹，分别是full代表全库备份和incre增量备份

第一次执行，则创建全库备份，该脚本每天创建一分全库备份，增量备份则根据执行脚本的间隔来执行。

六：计划任务参考

这里给出一个事例仅供参考：

编辑crontab计划任务

00 */1 * * *
/root/shell/xtrabackup.sh 1>/dev/null 
2>&1 &

这里的意思是每一小时自动执行一次脚本，增量备份的间隔是1小时

时间： 2024-10-08 19:52:15

MySQL生产库之Xtrabackup物理备份的相关文章

XtraBackup物理备份 阿里云的Mysql备份方案

XtraBackup物理备份 Percona XtraBackup是世界上唯一的开源,免费的MySQL热备份软件,为InnoDB和XtraDB 数据库执行非阻塞备份.使用Percona XtraBackup,可以实现以下优势: 快速可靠地完成的备份 备份期间的不间断事务处理 节省磁盘空间和网络带宽 自动备份验证 创建热InnoDB备份,而不暂停数据库 对MySQL进行增量备份 将压缩的MySQL备份压缩到另一个服务器 在MySQL服务器之间移动表 轻松创建新的MySQL主从 备份MySQL,而不

XtraBackup物理备份(未测试)

XtraBackup物理备份 Percona XtraBackup是世界上唯一的开源,免费的MySQL热备份软件,为InnoDB和XtraDB 数据库执行非阻塞备份.使用Percona XtraBackup,可以实现以下优势: 快速可靠地完成的备份 备份期间的不间断事务处理 节省磁盘空间和网络带宽 自动备份验证 创建热InnoDB备份,而不暂停数据库 对MySQL进行增量备份 将压缩的MySQL备份压缩到另一个服务器 在MySQL服务器之间移动表 轻松创建新的MySQL主从 备份MySQL,而不

MariaDB xtrabackup物理备份与还原

xtrabackup物理备份 1.1 安装xtraback 安装依赖: [[email protected] ~]# yum install -y perl-DBD-MySQL perl-DBI perl-Time-HiRes libaio* 安装: [[email protected] ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm Preparing... #################################

mysql 生产库大表delete

mysql 生产库大表删除 一般线上业务增长较快,造成某些表达到分表的临界值,表行数超过2000w且查询频繁,如表业务没有较多的聚合查询的话,可以考虑按时间归档部分历史数据.现推荐2种本人之前使用过的删除方式. 按照主键或者索引拆分后分段执行,使用存储过程 需要注意这种大表删除,如果是在主库执行,尽量把会话改成语句格式,以保证不会出现复制延迟 语句如下:set session binlog_format='STATEMENT'; CREATE PROCEDURE sp_delete_data()

【MySQL】【备份】使用XtraBackup物理备份MySQL的流程

简介: ? XtraBackup包含两个主要的工具即:xtrabackup和innobackupex ? xtrabackup:只能备份InnoDB和XtraDB两种事务引擎的表,不支持备份非事务引擎的表. ? innobackupex:封装了xtrabackup的perl脚本,支持在全局读锁下的非事务表备份,支持无全局读锁下的事务表. 安装: ? 推荐安装percona公司的源然后yum安装 yum -y install https://www.percona.com/redir/downlo

MySQL数据库之xtrabackup物理备份(一)

前言:说到数据库备份,我们知道可以用来对数据库进行备份的工具有mysqldump.mydumer.mysqlpump等等,实际工作中,机器上的数据库不大的话,都是用mysqldump工具来备份,这些备份工具各有优缺点,这里不详细介绍,今天分享另一个数据库备份工具,叫XtraBackup. 一.Xtrabackup介绍 1.官网说明 Percona XtraBackup可以在不阻止用户查询的情况下实现MySQL备份,因此非常适合拥有大数据集和无法承受长时间停机的关键任务应用程序的公司.作为开源解决

mysql生产库变更字符集，utf8 -> utf8mb4 emoj

utf8是三字节一个字符,而emoj表情是四子节,所以需要将字符集变更为utf8mb4.后者对utf8是兼容的. 对于已有数据的生产库,变更流程如下: 非常重要!不要在繁忙时段操作,否则锁表的后果不可预计 服务器端:jdbc连接需要支持emoj,但是jdbc连接串里的charset不支持utf8mb4.修改mysql的character_set_server为utf8mb4,需要重启实例.这样jdbc会自动检测这个参数,并保持一致 mysql:将需要修改的表,用下述sql变更.完成后,所有cha

如何用Percona XtraBackup进行MySQL从库的单表备份和恢复【转】

前提 应该确定采用的是单表一个表空间,否则不支持单表的备份与恢复. 在配置文件里边的mysqld段加上 innodb_file_per_table = 1 环境说明: 主库:192.168.0.1 从库1:192.168.0.2 从库2:192.168.0.3 备份工具 : Percona xtrabackup version 2.4.8 based on MySQL server 5.7.13 Linux (x86_64) (revision id: 97330f7) 在主库上创建chenfe

MySQL生产库中添加修改表字段引起主从崩溃的问题总结

上周末和开发人员对线上库中的部分表的在线DDL和update,这过程中出现了一些意料之外的问题,现将过程.分析和解决方案在这里总结一下 一. 需求背景: 要在如下表中添加字段(modified_at)并且更改默认值 table_name { baby_compbaby_comp_statusbaby_usrbaby_ad_userbaby_campbaby_ordbaby_acc_eva } 每张表执行如下操作ALTER TABLE `$table_name` ADD COLUMN `modif