mysql二进制增量备份

最近一直在思考如何增量备份二进制日志,这样一来我们就可以用mysqldump +二进制全备或者利用xtrabackup+二进制备份

思想:利用mysql-bin.index,如果是第一次备份,就将mysql-bin.index中的所有文件都复制到备份目录下,然后保存备份后二进制日志的序号到一个文件中backbinlogpostion
        增量备份时(非第一备份),就用backbinlogpostion存的序号与当前mysql_bin.index中的比较,如果序号小于mysql-bin.index的序号,则复制该二进制文件到备份目录

#!/bin/bash
#################################################################
#name:incrementalbackdb
#function:incremental-backup for mysql everyday
#finish-time:2015-04-02 by [email protected]
#################################################################
BinDir=/usr/local/mysql/data
BackupDir=/usr/backupyzx
BinLogFile=/usr/local/mysql/data/mysql-bin.index
BackLogPostion=0
BackupLog=${BackupDir}/backup.log
printN=
BinLogPostion=$(wc -l $BinLogFile|awk ‘{print $1}‘)
#get Binnary log sequ
LastSeqBinLog=$(basename $(tail -n 1 $BinLogFile))
LastBinLogPostion=${LastSeqBinLog##*0}
#before you backup,you should flush logs
/usr/local/mysql/bin/mysqladmin -uroot -p‘tianqu‘ flush-logs
echo "begin increment-backup,time is:" $(date +‘%Y-%m-%d %H:%M:%S‘) >>$BackupLog
if [ -e ${BackupDir}/backbinlogpostion  ];then
#取出backbinlogpostion中二进制的序号,例如mysql-bin.000002,保存的序号就是2
    BackLogPostion=$(cat ${BackupDir}/backbinlogpostion)
#如果当前二进制的序号与备份的二进制序号相同
    if [ ${LastBinLogPostion} -eq $BackLogPostion ];then
        echo "backup skiped,backup success!" >>${BackupLog}
    else
#取出序号的之间的差值
        printN=$((${LastBinLogPostion}-${BackLogPostion}))
        echo $printN
        q=$((${BackLogPostion}+1))
        for file in $(tail -n ${printN} ${BinLogFile});do
            basefile=$(basename ${file})
            if [ $q -ge ${LastBinLogPostion} ];then
            break;
            fi
            cp -pd ${BinDir}/${basefile} ${BackupDir}
            echo ${basefile}" is copying...">>${BackupLog}
            ((q++))
        done
    echo ${LastBinLogPostion} >${BackupDir}/backbinlogpostion
    fi
else
#如果是第一次备份,则创建backbinlogpostion,记录当前已经复制二进制的日志,方便第二次备份时,只备份新增的部分
    touch ${BackupDir}/backbinlogpostion
    i=1
    for file in $(cat ${BinLogFile});do
        basefile=$(basename ${file})
        if [ $i -eq ${BinLogPostion} ];then
        echo ${basefile##0} >${BackupDir}/backbinlogpostion
        fi
        if [ $i -eq $((${BinLogPostion}+1)) ];then
        break;
        fi
        cp -pd ${BinDir}/${basefile} ${BackupDir}
        echo ${basefile}" is copying...">>${BackupLog}
        ((i++))
    done
fi
echo "increment-backup finished,time is :" $(date +‘%Y-%m-%d %H:%M:%S‘)>>$BackupLog
#Delete old file
#将当前备份的文件转移到远程机器,然后删除本地的存档
#find ${BackupDir} -type f -mtime +15 -exec rm -rf {} \;
#/usr/bin/rsync -vzrtopg --progress ${BackupDir}
[email protected]::backup/backdb/
--password-file=/usr/local/etc/rsyncd.sec

时间: 2024-10-11 21:53:51

mysql二进制增量备份的相关文章

mysql实时增量备份 binlog日志备份

启用binlog日志实现对数据的增量备份: 日志存储位置: /var/lib/mysql/ 日志名称:主机名-bin.000001 或mysqld-bin.000001 binlog日志概述:二进制日志,记录所有更改数据的操作:默认超过500M自动生成新的日志: 修改主配置文件启用binlog日志 vim /etc/my.cnf [mysqld] log-bin  (或指定日志名log-bin=x.000001或者指定目录和文件名log-bin=/logdir/X.000001) max-bin

Mysql的增量备份 及基于时间点与位置的恢复

增量备份的优点是没有重复数据,备份量不大,时间短.缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,反推恢复,操作较为繁琐. Mysql没有提供增量备份的方法,但是可以通过二进制日志间接实现增量备份. 二进制日志对备份的意义如下:1)二进制日志保存了所有更新或者可能更新数据库的日志文件2)二进制日志在启动Mysql服务器后开始记录,并在文件达到max_binlog_size 所设置的大小或者接收到的flush logs命令后重新创建新的日志文件.3)只需要定时执行flush l

mysql实时增量备份

采用binlog日志的好处 掌控所有更改操作,必要时可用于恢复数据 数据库主从复制的必要条件 [[email protected]~]# vim /etc/my.cnf [mysqld] .. .. log-bin=mysql-bin //启用二进制日志,并指定前缀 .. ..[[email protected] ~]# service mysqld restart 确认binlog日志文件新启用binlog后,每次启动MySQl服务都会新生成一份日志文件: [[email protected]

Python 生产环境Mysql数据库增量备份脚本

Mysql数据库常用的办法是通过mysqldump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍blog介绍xtrabackup的热备工具.下面的脚本是基于xtrabackup实现自动备份数据库的功能. 需求描述: 每天晚上23点,对数据库进行一次完整备份.第二天0-22点,每小时进行一次增量备份.每次备份前把上次的完整备份和23次增量备份移动到指定目录里,保留7天的数据. ps:不要问我,为什么是23点执行完整备份,0点不更好处理吗?bingo,这是

通过innobackupex实现对MySQL的增量备份与还原

备份 增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --password=test /backup/ 备注:test是我的MySQL服务的root用户的密码,/backup/是我用于存放备份文件的目录. 执行完命令后,/backup/目录下会生成一个时间戳目录,在我这个例子中是/backup/2016-09-20_14-45-26/. 第一次增量备份: innobackupex --password=test --incremental /backup/ -

mysql的增量备份

1,在mysql 的my.ini文件中 2在我的D盘下创建binlog文件夹 3重启mysql服务可以看到我的D盘下的binlog下生成如下文件 4,在默认的test数据库中创建t_one1这张表 create table t_one1(id www.baohuayule.cn varchar(10),name varchar(2));4.1插入几条数据,然后能看到wxzlog.000001这个文件的修改日期变化了,这个文件就是我们对数据库进行增删改的记录,对查询不做记录,我们可以使用mysql

【Canal】利用canal实现mysql实时增量备份并对接kafka

简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq 本文中默认已经安装了kafka环境,仅做对接的演示:(若没有安装则需要提前安装kafka) 演示环境如下: bigdata111 bigdata112 bigdata113 centos

mysql innobackupex增量备份

备忘

mysql 数据库定时备份 增量/全备份

实验楼的 MySQL 数据库需要设计一个自动备份方案,能够每周执行一次全备份,每天执行一次增量备份. 数据库名称为 shiyanlou,管理的用户名为 shiyanlou,密码为 shiyanlou.注意需要先手动启动 MySQL 服务. 目标 设计并实现备份方案,任务完成后满足以下要求: MySQL 服务处于运行状态 需要为服务器中的 shiyanlou 用户设定计划任务 计划任务中设定每周的周一凌晨3点执行一次全备份 计划任务中设定每天凌晨3点执行一次增量备份,周一不执行 请不要编写额外的脚