mysql实时增量备份

采用binlog日志的好处
  掌控所有更改操作,必要时可用于恢复数据
  数据库主从复制的必要条件

[[email protected]~]# vim  /etc/my.cnf
[mysqld]
.. ..
log-bin=mysql-bin                              //启用二进制日志,并指定前缀
.. ..[[email protected] ~]# service mysqld restart

确认binlog日志文件
新启用binlog后,每次启动MySQl服务都会新生成一份日志文件:

[[email protected]~]# ls /var/lib/mysql/mysql-bin.*
/var/lib/mysql/mysql-bin.000001  /var/lib/mysql/mysql-bin.index

清除binlog日志
  删除早前指定版本的binlog日志
    RURGE MASTER LOGS TO "binlog日志"
  删除所有binlog日志,重新新建日志
    RESET MASTETR

分析binlog日志
  使用mysqlbinlog工具
    格式:mysqlbinlog [选项] 日志文件
  常用选项
    --start-datatime="YYYY-mm-dd HH:MM:SS"
    --stop-datatime="YYYY-mm-dd HH:MM:SS"
    --start-position=起止位置
    --stop-positon=结束位置

[[email protected] ~]# mysqlbinlog /var/lib/mysql/mysql-bin.000002
[[email protected] ~]# mysqlbinlog --start-datetime="2018-10-20 23:30" /var/lib/mysql/mysql-bin.000002

利用binlog恢复数据
  基本方法
    使用mysqlbinlog提取历史SQL操作
    通过管道交给mysql命令重做
  案例
    重做第一份binlog所记录的更改操作
执行指定Pos节点范围内的sql命令恢复数据
根据上述日志分析,只要恢复从2018-10-12 20:40:50到2018-10-20 23:15:50之间的操作即可。可通过mysqlbinlog指定时间范围输出,结合管道交给msyql命令执行导入重做:

[[email protected] ~]# mysqlbinlog     --start-datetime="2018-10-12 20:40:50" \
    --stop-datetime="2018-10-20 23:15:50"     /var/lib/mysql/mysql-bin.000002 | mysql -u root -p
Enter password:
若是全部重做
[[email protected] ~]# mysqlbinlog  /var/lib/mysql/mysql-bin.000002 | mysql -u root -p
Enter password:

mysql备份工具
  mysqlhotcopy不足
    仅适用于MyISAM引擎的数据库
    备份过程中,数据插入和更新操作都会被挂起
  mysqldump不足
    效率较低,备份和还原速度慢
    备份过程中,数据插入和更新操作会被挂起
  XtraBackup工具
    在线热备份工具
    备份过程中不锁表,适合生产环境适用
    支持整体备份和增量备份
    组件一xtrabackup:C程序,支持InnoDB和XtraDB
    组件二innobackupex:以Perl脚本封装xtrabackup,还支持MyISAM

xtrabackup基本选项
基本选项 解释
--backup 执行备份操作
--target-dir 备份的目标文件夹
--datadir 备份的原始文件夹(Mysql库的位置)
--prepare 准备恢复数据
--increamental-basedir 增量备份时,指定参照的完整备份路径
--incremental-dir 准备恢复目录时,指定增量备份的路径

1)使用XtraBackup执行数据库备份

[[email protected]~]# mkdir -p /backup/mysql
[[email protected]~]# xtrabackup_56 –backup --datadir=/var/lib/mysql/ --target-dir=/backup/mysql/

2)确认备份好的文件数据:

[[email protected]~]# ls /backup/mysql/

3)做一个增量备份(基于前一步的完整备份)

[[email protected] ~]# xtrabackup_56  --backup \        #xtrabackup_55 是5.5版本,xtrabackup_56是5.6版本
    --datadir=/var/lib/mysql/     --target-dir=/backup/inc01/     --incremental-basedir=/backup/mysql/

确认备份好的文件数据:

[[email protected]~]# ls /backup/inc01/

对比完整备份、增量备份的大小:

[[email protected]~]# du -sh /backup/mysql/ /backup/inc01/
11M     /backup/mysql/                                  //完整备份的大小
264K    /backup/inc01/  

准备用于恢复的数据库目录
以/backup/mysql/可用来重建MySQL服务器。这种情况下,官方建议连做两次--prepare,以确保数据一致性:

[[email protected] ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/
[[email protected] ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/ 

准备恢复“完整备份+增量备份”

以/backup/mysql/用来重建MySQL服务器,但这种情况下需提前合并相关增量备份的数据:
先准备完整备份目录,添加--apply-log-only仅应用日志:

[[email protected] ~]# xtrabackup_56  --prepare --target-dir=/backup/mysql --apply-log-only

然后整合增量备份的数据,通过--incremental-dir选项指定增量位置:

[[email protected] ~]# xtrabackup_56  --prepare     --target-dir=/backup/mysql --apply-log-only     --incremental-dir=/backup/inc01

至此,数据库已经包含增量备份

原文地址:https://www.cnblogs.com/linyouyi/p/9823266.html

时间: 2024-09-28 17:17:53

mysql实时增量备份的相关文章

mysql实时增量备份 binlog日志备份

启用binlog日志实现对数据的增量备份: 日志存储位置: /var/lib/mysql/ 日志名称:主机名-bin.000001 或mysqld-bin.000001 binlog日志概述:二进制日志,记录所有更改数据的操作:默认超过500M自动生成新的日志: 修改主配置文件启用binlog日志 vim /etc/my.cnf [mysqld] log-bin  (或指定日志名log-bin=x.000001或者指定目录和文件名log-bin=/logdir/X.000001) max-bin

【Canal】利用canal实现mysql实时增量备份并对接kafka

简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq 本文中默认已经安装了kafka环境,仅做对接的演示:(若没有安装则需要提前安装kafka) 演示环境如下: bigdata111 bigdata112 bigdata113 centos

05: 实时增量备份 、 XtraBackup 备份 、 总结和答疑 、 MySQL 主从同步

day05 增量备份一.启用binlog日志 实现 实时增量备份二.使用第3方软件提供的命令做增量备份 +++++++++++++++++++++++++++++++++一.启用binlog日志 实现 实时增量备份1.1 binlog日志介绍:二进制日志, 是MySQL数据库服务日志文件中的一种,记录执行的除查询之外的sql命令.默认没有启用. 查询的sql命令 : show desc select 1.2 启用binlog日志?vim /etc/my.cnf[mysqld]server_id=

NFS +inotify+rsync 实现数据的远程挂载与实时增量备份

NFS 网络文件系统 功能: 用户可以像访问自己的本地文件系统一样使用网络中的远端系统上的文件 原理: 用户进程-->RPC服务(portman)-->tcp/ip协议栈-->远端主机RPC服务 后 -->远端NFS服务-->远端主机本地磁盘数据-->NFS服务-->tcp/ip协议栈-->本地数据 优点: 易于实现前段服务器代理分流的时候处理sission以及数据查找时找不到数据等问题,且同时起到了就算任何一个web服务器宕机都不影响数据的访问 缺点: 单

Python 生产环境Mysql数据库增量备份脚本

Mysql数据库常用的办法是通过mysqldump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍blog介绍xtrabackup的热备工具.下面的脚本是基于xtrabackup实现自动备份数据库的功能. 需求描述: 每天晚上23点,对数据库进行一次完整备份.第二天0-22点,每小时进行一次增量备份.每次备份前把上次的完整备份和23次增量备份移动到指定目录里,保留7天的数据. ps:不要问我,为什么是23点执行完整备份,0点不更好处理吗?bingo,这是

mysql二进制增量备份

最近一直在思考如何增量备份二进制日志,这样一来我们就可以用mysqldump +二进制全备或者利用xtrabackup+二进制备份 思想:利用mysql-bin.index,如果是第一次备份,就将mysql-bin.index中的所有文件都复制到备份目录下,然后保存备份后二进制日志的序号到一个文件中backbinlogpostion        增量备份时(非第一备份),就用backbinlogpostion存的序号与当前mysql_bin.index中的比较,如果序号小于mysql-bin.

通过innobackupex实现对MySQL的增量备份与还原

备份 增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --password=test /backup/ 备注:test是我的MySQL服务的root用户的密码,/backup/是我用于存放备份文件的目录. 执行完命令后,/backup/目录下会生成一个时间戳目录,在我这个例子中是/backup/2016-09-20_14-45-26/. 第一次增量备份: innobackupex --password=test --incremental /backup/ -

Mysql的增量备份 及基于时间点与位置的恢复

增量备份的优点是没有重复数据,备份量不大,时间短.缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,反推恢复,操作较为繁琐. Mysql没有提供增量备份的方法,但是可以通过二进制日志间接实现增量备份. 二进制日志对备份的意义如下:1)二进制日志保存了所有更新或者可能更新数据库的日志文件2)二进制日志在启动Mysql服务器后开始记录,并在文件达到max_binlog_size 所设置的大小或者接收到的flush logs命令后重新创建新的日志文件.3)只需要定时执行flush l

mysql的增量备份

1,在mysql 的my.ini文件中 2在我的D盘下创建binlog文件夹 3重启mysql服务可以看到我的D盘下的binlog下生成如下文件 4,在默认的test数据库中创建t_one1这张表 create table t_one1(id www.baohuayule.cn varchar(10),name varchar(2));4.1插入几条数据,然后能看到wxzlog.000001这个文件的修改日期变化了,这个文件就是我们对数据库进行增删改的记录,对查询不做记录,我们可以使用mysql