两套mysql备份脚本

数据备份其重要性无需多言,再细想一步,我们至少需要两种备份:一种逻辑备份(mysqldump生成sql文件);一种物理备份(xtrabackup可很好完成)。逻辑备份在出问题时能提供更细粒度的恢复和对比;物理备份在整库范围的数据恢复或者增加从库方面有着更高额效率。


首先看下逻辑备份脚本,比较简单

#!/bin/sh
###每天运行一次

###定义用户 密码 备份目录等信息
user=mysqldump
psd=mysqldump
backup_base=/data/mysql_backup
date=`date +%Y%m%d`
old_date=`date +%Y%m%d -d -30days`    ###保存的天数

###获取库名,排除不需要备份的库
for db in `mysql -u$user -p$psd -s -N -e "show databases"|grep -v -E "(test|percona|information_schema|performance_schema)"`
do
  ###创建备份目录
  if [ ! -d $backup_base/$db ];then
    mkdir $backup_base/$db
  fi
 
  cd $backup_base/$db

  chattr -i ./*    

  rm -f $old_date.sql* &>/dev/null     #删除30天以前的

  mysqldump -u$user -p$psd --events --routines  $db |gzip > $date.sql.gz    ###备份&压缩

  chattr +i ./*    ###这里加了个防误删的属性
done


接下来看基于xtrabackup的物理(整库)备份脚本。相比上面的脚本,这个就有意思点儿了(主要在生成备份的时候遵循了一个规则,然后在恢复脚本里加逻辑判断实现任意时候都能一键恢复)

    整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh

我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示"周日"-"周六"。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。

上面以0-6这样的目录名存放备份数据,是为了让恢复脚本innobackupex_restore.sh处理起来更方便。无论在周几执行恢复脚本,都能正确的执行xtrabackup的恢复过程

依percona官方文档。xtrabackup备份至少需要以下权限:GRANT RELOAD, SUPER, LOCK TABLES, REPLICATION CLIENT, CREATE TABLESPACE ON *.* TO ‘xtrabackup‘@‘localhost‘ identified by xxxx

计划任务设置如下


全备脚本 innobackupex_all.sh

#!/bin/sh
###每周日凌晨4点,执行全量备份

base_dir=/ljk/data

rm -rf $base_dir/* 2>> $base_dir/all.log    ###清空base_dir,执行全备

###备份并将日志记录于base_dir下的all.log
/usr/bin/innobackupex --user=xtrabackup --password=xtrabackup $base_dir 2>> $base_dir/all.log

cd $base_dir
#将以‘当前时间命名的全备目录‘重命名为‘0‘
mv 20* 0 2>> $base_dir/all.log


增备脚本innobackupex_increment.sh

#!/bin/sh
###周1--周6凌晨4点 增量备份

base_dir=/ljk/data

today=`date +%u`
yesterday=`expr $today - 1`

echo -e "\n===================================\n" >> $base_dir/increment.log    ###增备日志记录于$base_dir/increment.log
/usr/bin/innobackupex --user=xtrabackup --password=xtrabackup --incremental $base_dir --incremental-basedir=$base_dir/$yesterday 2>> $base_dir/increment.log

cd $base_dir
#重命名备份文件,以0 1 2 3 4 5 6 代表周日到 周六
mv 20* $today 2>> $base_dir/increment.log


恢复脚本innobackupex_restore.sh

#!/bin/sh

###检查上次命令执行是否成功的函数
function check {
   if [ $? -ne 0 ];then
        echo -e "\e[1;31m\n $1 exec failed,please check it !\e[0m \n"
        echo "$1 failed,please check it !"
        sleep 1
        exit -1
   fi
}

base_dir=/ljk/data

backup_dir=`ls -l $base_dir|grep -e "^d.*"|awk ‘{print $NF}‘`
echo -e "the backup dir is: $backup_dir \n"
sleep 1

###开始恢复

cd $base_dir

echo -e "------ 准备阶段 0 ------\n"
sleep 1
/usr/bin/innobackupex --apply-log --redo-only $base_dir/0
check "准备阶段 0";

###执行除去 0 和 最后一个目录 之外的其他目录的恢复准备
dir_num=`ls -l $base_dir|grep -e "^d.*"|wc -l`      #取出有几个备份目录

for i in `seq 1 $(($dir_num - 2))`
  do
    echo -e "------ 准备阶段 $i ------ \n"
    sleep 1
    /usr/bin/innobackupex --apply-log --redo-only $base_dir/0 --incremental-dir=$base_dir/$i
    check "准备阶段 $i";
done

###最后一个增量备份
echo -e "------ 准备阶段 $(($dir_num - 1)) ------ \n"
sleep 1
/usr/bin/innobackupex --apply-log $base_dir/0 --incremental-dir=$base_dir/$(($dir_num - 1))
check "准备阶段 $(($dir_num - 1))";

###以上步骤将所有增量备份中记录的变化应用到了最初的全量备份中
echo -e "------ 应用所有变化到$base_dir/0 ------\n"
/usr/bin/innobackupex --apply-log $base_dir/0
check "应用所有变化到$base_dir/0";

###将数据考回数据目录
echo -e "------ 将处理好的数据考回至数据目录 ------\n"
/usr/bin/innobackupex --copy-back $base_dir/0
check "copy-back";


物理备份目录结构截图

时间: 2024-10-14 06:54:35

两套mysql备份脚本的相关文章

mysql 备份脚本(xtrabackup)

mysql备份脚本,记录一下: 全备: #!/bin/sh  set -x                                                             USER=root  PASSWORD=123456 time=`date +"%y-%m-%d-%H-%M"`   date >> /data/mysqlbackup/logs/$time'_allbackup.log'    #1 begin Full Backups  ech

Windows下MySQL备份脚本

1 @echo off 2 rem MySQL备份脚本 支持全备份 3 rem 增量备份需要MySQL服务加--log-bin参数执行 4 rem 数据还原 mysql -u root -p < backup.sql 5 rem ===================== 6 rem 全局变量 7 set dump=mysqldump.exe 8 set rand=%random% 9 rem ===================== 10 11 rem 检测MySQL路径是否添加到PATH变

mysql备份脚本

对extmail数据库进行每天01:00完全热备份,并可以完全恢复! 一.先建立备份脚本,如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 vi mysql_extmail_bak.sh #!/bin/bash # Program #    use mysqldump to Fully backup mysql data per week! BakDir=/mysqlback#要备份到的目录 LogFile=/var/log/bak.log#备份记录日志

mysql 备份脚本以及定时任务

数据是企业最宝贵的资源,作为运维人员备份数据库的数据是特别重要的一项工作,以下是个人查找资料以及个人总结所记录的mysql数据库备份脚本,记录在此作为学习和复习笔记. (1)分库备份脚本 #/bin/sh #version 0.1 MYUSER=root MYPASS=123123 #SOCKET=/data/3306/mysql.sock MYLOGIN="mysql -u$MYUSER -p$MYPASS " MYDUMP="mysqldump -u$MYUSER -p$

线上MySQL备份脚本

最近在研究数据库备份,定时执行备份任务,这里直接把备份脚本设置为crontab命令定时执行,脚本内容如下: [[email protected] ~]# cat mysql-backup.sh #!/bin/bash dbpwd='possw0rd123' dbuser=root host=127.0.0.1 port=3306 dbarg=" -u$dbuser -p$dbpwd -h$host -P$port --default-character=utf8 " DATE=`dat

xtrabackup的mysql备份脚本

一.安装xtrabackup工具 安装方法见:xtrabackup安装 二.配置备份脚本 1.拷贝mysql_backup_shell到mysql业务服务器目录,比如:/data/backup_shell/mysql_backup_shell 2.进入拷贝后mysql_backup_shell所在目录, 然后执行chmod 777 mysql_backup.sh 3.修改backup.conf 需要修改的项: mysql_conf_file=/usr/local/meb/my.cnf.3309

mysql备份脚本及备份失败报警

[[email protected] myfile]# cat mysqlback_zabbix.sh  #!/bin/bash USER=root DB=zabbix #PASSWORD=123456 SERVER=172.16.9.129 DIR_HOME=/vol/myfile/mysql_$SERVER LOG_FILE=$DIR_HOME/logs/mysqlback.log if [ ! -d $DIR_HOME ];then mkdir $DIR_HOME ;fi if [ ! -

基于Innobackupex的MySQL备份脚本

Innobackupex是Xtrabackup的一部分,其实质也是调用xtrabackup.主要的不同是Xtrabackup除了支持innodb引擎外还支持xtradb引擎.本文主要封装了Innobackupex到shell脚本进行定期备份,供大家参考. 1.脚本描述a.支持增量备份以及全备b.需要传递到备份脚本(如备份路径,连接相关参数等)c.基于周日,周三的全量备份,其他增量备份d.可根据需要调整脚本,比如压缩备份的文件夹以及rsync等 2.脚本内容 ###################

mysql备份脚本(shell)

mysql数据库shell备份脚本 任何项目的运行都离不开数据,持久化数据对于一个企业尤为重要,任何时候都不可掉以轻心,下面是我自己写的一个shell脚本,用来备份数据,分享给大家. #!/bin/bash # 数据库连接信息 MY_user="" MY_pass="" MY_port="3306" # 环境变量 PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/