MyFlash MySQL闪回工具

安装：
环境要求：
1、binlog格式必须为row，且binlog_row_image=full
2、仅支持5.6与5.7
3、只能回滚DML（增、删、改）

  1. 下载地址：https://github.com/Meituan-Dianping/MyFlash

安装：
unzip MyFlash-master.zip
mv MyFlash-master /usr/local/MyFlash/
gcc -w pkg-config --cflags --libs glib-2.0 source/binlogParseGlib.c -o binary/flashback

闪回：

update，情景描述，程序1误将xtr库下面的t2表 12,11 更改后0了,这是一个错误的操作;而后面的程序2将13、14更改0了，这是一个正确的操作，需要闪回程序1的误操作。
模似上述场景：
原表：
mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
| 13 |
| 14 |
+------+
6 rows in set (0.00 sec)

update操作：
update xtr.t2 set id = 0 where id = 12;
update xtr.t2 set id = 0 where id = 11;

update xtr.t2 set id = 0 where id = 13;
update xtr.t2 set id = 0 where id = 14;

DBA接到开发的报警后：
1、flush logs;
需要闪回的动作所在的二进制文件，这个文件必须是稳定的，需要flush logs;
2、记录当前的binlog文件
3、解析binlog
mysqlbinlog -vv bin.000038|less

at 838

#180326 21:41:59 server id 11 end_log_pos 882 CRC32 0x304d887b Table_map: xtr.t2 mapped to number 268 #这个position开始进入xtr.t2库

at 882

#180326 21:41:59 server id 11 end_log_pos 928 CRC32 0x8fac8e57 Update_rows: table id 268 flags: STMT_END_F

BINLOG ‘
twa5WhMLAAAALAAAAHIDAAAAAAwBAAAAAAEAA3h0cgACdDIAAQMAAXuITTA=
twa5Wh8LAAAALgAAAKADAAAAAAwBAAAAAAEAAgAB///+CwAAAP4AAAAAV46sjw==
‘/!/;

UPDATE xtr.t2 #更改的第一条语句

WHERE

@1=11 / INT meta=0 nullable=1 is_null=0 /

SET

@1=0 / INT meta=0 nullable=1 is_null=0 /

at 928

#180326 21:41:59 server id 11 end_log_pos 959 CRC32 0xca19e065 Xid = 230
COMMIT/!/;

at 959

#180326 21:42:04 server id 11 end_log_pos 1024 CRC32 0xe7e195c8 GTID last_committed=3 sequence_number=4
SET @@SESSION.GTID_NEXT= ‘148e1f5e-befd-11e7-ac58-08002738f0ad:207‘/!/;

at 1024

#180326 21:42:04 server id 11 end_log_pos 1095 CRC32 0x0c3e3fdc Query thread_id=3 exec_time=0 error_code=0
SET TIMESTAMP=1522075324/!/;
BEGIN
/!/;

at 1095

#180326 21:42:04 server id 11 end_log_pos 1139 CRC32 0xd6cdd96b Table_map: xtr.t2 mapped to number 268

at 1139

#180326 21:42:04 server id 11 end_log_pos 1185 CRC32 0xbd63762d Update_rows: table id 268 flags: STMT_END_F

BINLOG ‘
vAa5WhMLAAAALAAAAHMEAAAAAAwBAAAAAAEAA3h0cgACdDIAAQMAAWvZzdY=
vAa5Wh8LAAAALgAAAKEEAAAAAAwBAAAAAAEAAgAB///+DAAAAP4AAAAALXZjvQ==
‘/!/;

UPDATE xtr.t2 #更改的第二条语句

WHERE

@1=12 / INT meta=0 nullable=1 is_null=0 /

SET

@1=0 / INT meta=0 nullable=1 is_null=0 /

at 1185

#180326 21:42:04 server id 11 end_log_pos 1216 CRC32 0xb62d1a59 Xid = 231
COMMIT/!/;

at 1216 #两个事务结束的position点位置

4、./flashback --sqlTypes=‘UPDATE‘ --binlogFileNames=/data/mysql/bin.000038 --start-position=838 --stop-position=1216 --outBinlogFileNameBase=update
反解析UPDATE操作，生成以update开头的文件
生成的文件名：binlog_output_base.flashback

5、 mysqlbinlog binlog_output_base.flashback --skip-gtids |mysql -uroot -p‘123‘ -S /tmp/mysql_3306.sock
导入数据库

6、查询数据库
mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
| 0 |
| 0 |
+------+
6 rows in set (0.00 sec)
闪回完成

insert 场景闪回
原表：
mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
| 0 |
| 0 |
+------+
6 rows in set (0.00 sec)

插入数据
mysql> insert into xtr.t2 values(99);
Query OK, 1 row affected (0.00 sec)

mysql> insert into xtr.t2 values(88);
Query OK, 1 row affected (0.00 sec)

mysql> insert into xtr.t2 values(77);
Query OK, 1 row affected (0.00 sec)

mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
| 0 |
| 0 |
| 99 |
| 88 |
| 77 |
+------+
9 rows in set (0.00 sec)

mysql> delete from xtr.t2 where id = 0;
Query OK, 2 rows affected (0.03 sec)

mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
| 99 |
| 88 |
| 77 |
+------+
7 rows in set (0.00 sec)

现在需要闪回insert的操作，id=99,id=99,id=77的全部的闪回

mysql> show master logs;
+------------+-----------+
| Log_name | File_size |
+------------+-----------+ |
| bin.000036 | 1759 |
| bin.000037 | 749 |
| bin.000038 | 1771 |
| bin.000039 | 217 |
| bin.000040 | 2979 |
+------------+-----------+
17 rows in set (0.00 sec)

mysql> flush logs;
Query OK, 0 rows affected (0.08 sec)

./flashback --binlogFileNames=/data/mysql/bin.000040 --sqlTypes=‘INSERT‘ --start-position=1851 --stop-position=2462 --outBinlogFileNameBase=insert

mysqlbinlog insert.flashback --skip-gtids |mysql -uroot -p‘123‘ -S /tmp/mysql_3306.sock

mysql> select * from xtr.t2;
+------+
| id |
+------+
| 12 |
| 11 |
| 4 |
| 3 |
+------+
4 rows in set (0.00 sec)
insert 闪回完成

可以用mysqlbinlog查看insert.flashback文件：

DELETE FROM xtr.t2

WHERE

@1=77 / INT meta=0 nullable=1 is_null=0 /

at 207

#180327 21:20:37 server id 11 end_log_pos 251 CRC32 0xb6c9ac45 Table_map: xtr.t2 mapped to number 268

at 251

#180327 21:20:37 server id 11 end_log_pos 291 CRC32 0x3efac7b3 Delete_rows: table id 268 flags: STMT_END_F

BINLOG ‘
NVO6WhMLAAAALAAAAPsAAAAAAAwBAAAAAAEAA3h0cgACdDIAAQMAAUWsybY=
NVO6WiALAAAAKAAAACMBAAAAAAwBAAAAAAEAAgAB//5YAAAAs8f6Pg==
‘/!/;

DELETE FROM xtr.t2

WHERE

@1=88 / INT meta=0 nullable=1 is_null=0 /

at 291

#180327 21:20:34 server id 11 end_log_pos 335 CRC32 0xe10122fd Table_map: xtr.t2 mapped to number 268

at 335

#180327 21:20:34 server id 11 end_log_pos 375 CRC32 0x9943c01c Delete_rows: table id 268 flags: STMT_END_F

BINLOG ‘
MlO6WhMLAAAALAAAAE8BAAAAAAwBAAAAAAEAA3h0cgACdDIAAQMAAf0iAeE=
MlO6WiALAAAAKAAAAHcBAAAAAAwBAAAAAAEAAgAB//5jAAAAHMBDmQ==
‘/!/;

DELETE FROM xtr.t2

WHERE

@1=99 / INT meta=0 nullable=1 is_null=0 /

SET @@SESSION.GTID_NEXT= ‘AUTOMATIC‘ / added by mysqlbinlog / /!/;
DELIMITER ;

End of log file

/!50003 SET [email protected]_COMPLETION_TYPE/;
/!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0/;
生成还是binlog文件，把二进制文件一行一行的读出来，反向解析了

安装报错：
[[email protected] MyFlash]# gcc -w pkg-config --cflags --libs glib-2.0 source/binlogParseGlib.c -o binary/flashback
Package glib-2.0 was not found in the pkg-config search path.
Perhaps you should add the directory containing `glib-2.0.pc‘
to the PKG_CONFIG_PATH environment variable
No package ‘glib-2.0‘ found

解决：
yum -y install glib2-devel

导入报错
[[email protected] binary]# mysqlbinlog binlog_output_base.flashback |mysql -uroot -p‘123‘ -S /tmp/mysql_3306.sock
mysql: [Warning] Using a password on the command line interface can be insecure.
ERROR 1782 (HY000) at line 17: @@SESSION.GTID_NEXT cannot be set to ANONYMOUS when @@GLOBAL.GTID_MODE = ON.

根据官方建议加入--skip-gtids
[[email protected] binary]# mysqlbinlog binlog_output_base.flashback --skip-gtids |mysql -uroot -p‘123‘ -S /tmp/mysql_3306.sock
mysql: [Warning] Using a password on the command line interface can be insecure.
ERROR 1032 (HY000) at line 36: Can‘t find record in ‘t2‘ t2是我需要回滚的表
但加上这个参数还是会报错，但在数据库里查询此时数据已经回滚进去了,第二天在测试就没有这个问题了？

问题：

这是因为找错了position点的位置

原文地址：http://blog.51cto.com/shangguan86/2140667

时间： 2024-10-29 07:53:38

MyFlash MySQL闪回工具的相关文章

Mysql闪回工具之binlog2sql的原理及其使用

生产上误删数据.误改数据的现象也是时常发生的现象,作为运维这时候就需要出来补锅了,最开始的做法是恢复备份,然后从中找到需要的数据再进行修复,但是这个时间太长了,对于大表少数数据的修复来讲,动作太大,成本也大. 当然还有其他的一些操作方法,我们今天有主角. MySQL 闪回工具 --   binlog2sql 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL,带来的衍生功能 闪回原理简析 开始之前,先说说闪回.我们都知道 MySQL binlog 以 event 为单

mysql闪回工具binlog2sql 安装使用

软件包下载地址:链接:https://pan.baidu.com/s/15dDeGufVWOgVrfATGWBzaA 密码:gnz8 DBA或开发人员,有时会误删或者误更新数据,如果是线上环境会影响较大,这就需要能快速回滚;而MySQL闪回(flashback)利用binlog能直接进行回滚,并且能快速恢复数据(MySQL闪回现在只支持DML语句进行闪回). 利用binlog闪回需要的条件: Mysql参数设置: log_bin = /目录/mysql-bin.log(开启) binlog_fo

MySQL 闪回工具MyFlash

一. 简介 背景:由于运维.开发误操作或是业务bug,我们在操作中时不时会出现误删除数据情况.早期要想恢复数据,只能让业务人员根据线上操作日志,构造误删除的数据,或者DBA使用binlog和备份的方式恢复数据,不管那种,都非常费时费力,而且容易出错. MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具.该工具通过解析v4版本的binlog,完成回滚操作.相对已有的回滚工具,其增加了更多的过滤选项,让回滚更加容易. 二. 恢复工具对比 1.mysqlbinlog工具配合se

（4.11）mysql备份还原——mysql闪回技术（基于binlog）

0.闪回技术与工具简介 mysql闪回工具比较流行三大类: [0.1]官方的mysqlbinlog:支持数据库在线/离线,用脚本处理binlog的输出,转化成对应SQL再执行.通用性不好,对正则.sed等需要较高熟练度. [0.2]第三方的mysqlbinlog工具,比官方的工具多了一个闪回功能 -B [0.3]开源的binlog2sql:兼容性比较好,使用难度小,使用简单,前提是mysql必须开启. 最佳实践:线上使用binlog2sql,线下用mysqlbinlog以及mysqlbinlog

binlog2sql闪回工具的使用

binlog2sql闪回工具的使用 一.下载安装依赖的python yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel yum install python34 -y python3 --version wget --no-check-certificate https://bootstrap.pypa.io/get-pip.py python3 get-pip.py p

mysql"闪回"技术恢复误删除误更改的数据

相信很多人都遇到过忘带where条件或者where条件漏写了一个和写错了的情况,结果执行了delete/update后把整张表的数据都给改了.传统的解决方法是:利用最近的全量备份+增量binlog备份,恢复到误操作之前的状态,但是此方法有一个弊端,那就是随着表的记录增大,binlog的增多,恢复起来会很费时费力. 现在有一个简单的方法,可以恢复到误操作之前的状态.听起来这方法似乎利用的是Oracle的闪回功能,但MySQL目前(包括最新的V5.7版本与MariaDB10.1分支版本)还不具有这样

binlog2sql之MySQL数据闪回

DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚.传统恢复方法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据.此法费时费力,甚至需要停机维护,并不适合快速回滚.也有团队利用LVM快照来缩短恢复时间,但快照的缺点是会影响mysql的性能.现在有不少好用而且效率又高的开源闪回工具如binlog2sql.mysqlbinlog_flashback,这些工具在工作中给DBA减轻了不少痛苦,以下针对binlog2sql的使用进行实践演练. bin

mysql 2PC二阶段协义 与 日志闪回

mysql两份日志: binlog :server innodb redo log:engine 两份日志顺序一致性:否则主备不一致 两份日志:原子性,同时都有,同时都无 2PC二阶段协义: 第一阶段:准备界段 第二阶段:提交阶段 买房子示例 准备界段: 房产局确认: 买方:钱是否准备好 卖方:房子是否可卖 提交界段: 政务中心: 买方: 确认按手印 卖方:确认按手印 ----------------------------------------------------------------

MySQL--------基于binlog实现闪回最佳实战

1. 背景 * 为了数据安全,搭建了主从.实时主从备份只能防止硬件问题,比如主库的硬盘损坏.但对于误操作,则无能为力.比如在主库误删一张表,或者一个update语句没有指定where条件,导致全表被更新.当操作被同步到从库上后,则主从都"回天无力". * 闪回用于快速恢复由于误操作丢失的数据.在DBA误操作时,可以把数据库恢复到以前某个时间点(或者说某个binlog的某个pos).比如忘了带where条件的update.delete操作,传统的恢复方式是利用全备+二进制日志前滚进行恢复