mysql的数据恢复

转载自：http://ourmysql.com/archives/1293

数据库数据被误删除是经常看到的事情，数据的恢复也就自然成为了DBA很重要的一门基本功夫，比较笨拙的办法是拉出历史的备份到另外的一台机器恢复出来，但是这种方法如果数据量比较大的话，往往会耗费较长的时间，以前在使用oracle的时候，提供了很多数据恢复的办法，常用的办法就是采用闪回flashback，或者通过logmnr在分析日志完成数据的恢复，但是在mysql中，数据的恢复变成了很困难的一件事情。

上周一同事的数据库就由于开发人员的数据订正误操作，导致了一张表的所有数据被清空，由于该库的数据容量已经达到了几百G，从备份中恢复需要很长的时间，所以联系到我帮助恢复，由于数据库采用的是row模式，删除的操作在binlog中会一行一行的记录，所以恢复操作就是将binlog中的内容进行解析为对应的插入语句，恢复步骤如下：

1.用mysqlbing将binlog文件进行解析：

mysqlbinlog -vvv /home/mysql/data3006/mysql/mysql-bin.000004 >/tmp/master.log.20120925

2.由于被误删除的表有13个字段，在加上两行delete和where，所以取其中的15行：

grep “###” master.log.20120925 | grep “DELETE FROM master.agentgroup” -A 15 >/tmp/xx.log

[email protected] # more /tmp/xx.log

### DELETE FROM master.del_table

### WHERE

### @1=15 /* INT meta=0 nullable=0 is_null=0 */

### @2=1 /* INT meta=0 nullable=0 is_null=0 */

### @3=2010-09-07 18:03:13 /* DATETIME meta=0 nullable=0 is_null=0 */

### @4=1 /* INT meta=0 nullable=0 is_null=0 */

### @5=2012-09-24 01:13:56 /* DATETIME meta=0 nullable=0 is_null=0 */

### @6=’yahoo_yst’ /* VARSTRING(384) meta=384 nullable=0 is_null=0 */

### @7=5259 /* INT meta=0 nullable=1 is_null=0 */

### @8=22 /* INT meta=0 nullable=1 is_null=0 */

### @9=b’0′ /* BIT(1) meta=1 nullable=0 is_null=0 */

### @10=b’1′ /* BIT(1) meta=1 nullable=0 is_null=0 */

### @11=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */

### @12=b’0′ /* BIT(1) meta=1 nullable=1 is_null=0 */

### @13=18170 /* INT meta=0 nullable=1 is_null=0 */

3.用sed替换’###’:

[email protected] # more /tmp/xx.log

DELETE FROM master.del_table

WHERE

@1=15 /* INT meta=0 nullable=0 is_null=0 */

@2=1 /* INT meta=0 nullable=0 is_null=0 */

@3=2010-09-07 18:03:13 /* DATETIME meta=0 nullable=0 is_null=0 */

@4=1 /* INT meta=0 nullable=0 is_null=0 */

@5=2012-09-24 01:13:56 /* DATETIME meta=0 nullable=0 is_null=0 */

@6=’yahoo_yst’ /* VARSTRING(384) meta=384 nullable=0 is_null=0 */

@7=5259 /* INT meta=0 nullable=1 is_null=0 */

@8=22 /* INT meta=0 nullable=1 is_null=0 */

@9=b’0′ /* BIT(1) meta=1 nullable=0 is_null=0 */

@10=b’1′ /* BIT(1) meta=1 nullable=0 is_null=0 */

@11=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */

@12=b’0′ /* BIT(1) meta=1 nullable=1 is_null=0 */

@13=18170 /* INT meta=0 nullable=1 is_null=0 */

4.替换’*/’为’,‘:

[email protected] # sed -i ‘s/\*\//\*\/,/g’ /tmp/xx.log

[email protected] # more /tmp/xx.log

DELETE FROM master.del_table

WHERE

@1=15 /* INT meta=0 nullable=0 is_null=0 */,

@2=1 /* INT meta=0 nullable=0 is_null=0 */,

@3=2010-09-07 18:03:13 /* DATETIME meta=0 nullable=0 is_null=0 */,

@4=1 /* INT meta=0 nullable=0 is_null=0 */,

@5=2012-09-24 01:13:56 /* DATETIME meta=0 nullable=0 is_null=0 */,

@6=’yahoo_yst’ /* VARSTRING(384) meta=384 nullable=0 is_null=0 */,

@7=5259 /* INT meta=0 nullable=1 is_null=0 */,

@8=22 /* INT meta=0 nullable=1 is_null=0 */,

@9=b’0′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@10=b’1′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@11=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */,

@12=b’0′ /* BIT(1) meta=1 nullable=1 is_null=0 */,

@13=18170 /* INT meta=0 nullable=1 is_null=0 */,

DELETE FROM master.del_table

5.替换日志中的最后一个’,‘为’;‘:

a.delete前加’;‘:

sed -i ‘s/DELETE/;DELETE/g’ /tmp/xx.log

[email protected] # more /tmp/xx.log

DELETE FROM master.del_table

WHERE

@1=15 /* INT meta=0 nullable=0 is_null=0 */,

@2=1 /* INT meta=0 nullable=0 is_null=0 */,

@3=2010-09-07 18:03:13 /* DATETIME meta=0 nullable=0 is_null=0 */,

@4=1 /* INT meta=0 nullable=0 is_null=0 */,

@5=2012-09-24 01:13:56 /* DATETIME meta=0 nullable=0 is_null=0 */,

@6=’yahoo_yst’ /* VARSTRING(384) meta=384 nullable=0 is_null=0 */,

@7=5259 /* INT meta=0 nullable=1 is_null=0 */,

@8=22 /* INT meta=0 nullable=1 is_null=0 */,

@9=b’0′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@10=b’1′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@11=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */,

@12=b’0′ /* BIT(1) meta=1 nullable=1 is_null=0 */,

@13=18170 /* INT meta=0 nullable=1 is_null=0 */,

;DELETE FROM master.del_table

b.delete 前的’,;’替换为’;‘:

vi /tmp/xx.log —->:%s/,$\n^ ;/;/g

DELETE FROM master.del_table

WHERE

@1=29 /* INT meta=0 nullable=0 is_null=0 */,

@2=1 /* INT meta=0 nullable=0 is_null=0 */,

@3=2010-09-07 18:03:13 /* DATETIME meta=0 nullable=0 is_null=0 */,

@4=1 /* INT meta=0 nullable=0 is_null=0 */,

@5=2012-06-01 13:05:00 /* DATETIME meta=0 nullable=0 is_null=0 */,

@6=’alipay_front_jx’ /* VARSTRING(384) meta=384 nullable=0 is_null=0 */,

@7=5267 /* INT meta=0 nullable=1 is_null=0 */,

@8=58 /* INT meta=0 nullable=1 is_null=0 */,

@9=b’0′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@10=b’1′ /* BIT(1) meta=1 nullable=0 is_null=0 */,

@11=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */,

@12=b’0′ /* BIT(1) meta=1 nullable=1 is_null=0 */,

@13=NULL /* BIT(1) meta=0 nullable=1 is_null=1 */

;DELETE FROM master.del_table

@1,@2,@3….对应的是表的字段；

6.最后将delete from table xx where 改为insert into xx values(”,”,”,”…..)既可以；

通过上面的6个步骤就可以从binlog中恢复出删除的数据，看上去很繁琐，所以parse_binlog 工具就产生了，这个工具是@俊达 所写，可以将row模式的binlog转换为对应的sql语句：

mysql> USE T1

Database changed

mysql> delete from t1 where id<12;

Query OK, 2 rows affected (0.00 sec)

mysqlbinlog -vvv /home/mysql/data3006/mysql/mysql-bin.000004 |/root/parse_binlog.pl >/tmp/parse.sql1

more /tmp/parse/sql1

-DML type: DELETE, num of cols: 2

replace into t1.t1 values ( 10 , ‘ni hao1′);

-DML type: DELETE, num of cols: 2

replace into t1.t1 values ( 11 , ‘ni hao1′);

这样DBA就可以方便的进行数据的恢复了；

最近@plinux已经完成该mysql闪回方案的补丁，在row模式的binlog下，记录了每个ROW的完整信息，INSERT会包含每个字段的值，DELETE也会包含每个字段的值，UPDATE会在SET和WHERE部分包含所有的字段值。因此binlog就是个完整的逻辑redo，把它的操作逆过来，就是需要的“undo”；@吴炳锡 这个好人已经把他编译好了放在开源社区上，可以在这里下载:

mysql> show master logs;

+——————+———-+

| Log_name | File_size |

+——————+———-+

| mysql-bin.000004 | 2293035 |

+——————+———-+

mysql> use t1

Database changed

mysql> delete from t1 where id=15;

Query OK, 1 row affected (0.00 sec)

mysql> show master logs;

+——————+———-+

| Log_name | File_size |

+——————+———-+

| mysql-bin.000004 | 2293211 |

+——————+———-+

[email protected] # ./mysqlbinlog.txt -v -base64-output=decode-rows -B -start-position=2293035 /home/mysql/data3006/mysql/mysql-bin.000004 >/tmp/1.sql

[email protected] # more /tmp/1.sql

DELIMITER ;

#121004 19:59:35 server id 3703006010 end_log_pos 2293211 Xid = 13145226

COMMIT/*!*/;

#121004 19:59:35 server id 3703006010 end_log_pos 2293143 Table_map: `t1`.`t1` mapped to number 1584

#121004 19:59:35 server id 3703006010 end_log_pos 2293184 Delete_rows: table id 1584 flags: STMT_END_F

### INSERT INTO t1.t1

### SET

### @1=15

### @2=’ni xxx’

DELIMITER ;

不得不说开源的力量真大.

时间： 2024-12-24 19:51:22

mysql的数据恢复的相关文章

使用XtraBackup恢复|备份 Mysql数据库 -- 数据恢复篇

数据恢复篇 XtraBackup工具介绍: 现在我们给MySQL做备份的时候经常会考虑到数据量的增长,数据量较小的时候用mysqldump,随着数据量越来越大mysqldump也就不太合适了.第一不支持增量备份,第二恢复的时候也较慢.这里推荐使用Percona公司的XtraBackup. 简单介绍一下热备份工具XtraBackup,它是Percona公司推出的一款热备份工具,备份的时候不影响数据读写操作,是商业工具HotBackup的一个替代(现在应该叫MySQL Enterprise Back

通过bin-log对mysql进行数据恢复

mysqlbinlog --database=数据库名 --start-date="2017-06-01 5:00:00"  --stop-date="2017-06-11 10:00:00" var/mysql-bin.000001 | mysql -u root -p123456 -f 1.注意粗体字可执行文件的位置,如果已加入环境变量可以忽略 2.注意红色字bin-log日志的位置要写对 3.数据库名要改 4.可以设置日期 5.最后设置使用的数据库账号.密码

mysql数据库数据恢复方案概括总结

方案一:(传统方案) 备份+binlog日志增量: 方案二:(针对update.delete语句忘加where的情况) Binlog日志文件中保存有错误操作之前和之后的两组数据,将错误操作之前的数据修改成update语句重新执行一次: 详情链接:http://www.wushiqin.com/?post=77 方案三:(利用从库的方案)        添加新从库并设置时差,在主从同步数据之前删除binlog日志文件内执行的错误语句: 第三种方案尚未测试,请有经验的大神给判断下,虚心请教谢谢!!!

MySQL备份与恢复

body { font-family: Helvetica, arial, sans-serif; font-size: 14px; line-height: 1.6; padding-top: 10px; padding-bottom: 10px; background-color: white; padding: 30px } body>*:first-child { margin-top: 0 !important } body>*:last-child { margin-bottom:

MySQl Study学习之--MySQl二进制日志管理

MySQl Study学习之--MySQl二进制日志管理 MySQL二进制日志(Binary Log):   a.它包含的内容及作用如下:    包含了所有更新了数据或者已经潜在更新了数据(比如没有匹配任何行的一个DELETE)    包含关于每个更新数据库(DML)的语句的执行时间信息    不包含没有修改任何数据的语句,如果需要启用该选项,需要开启通用日志功能    主要目的是尽可能的将数据库恢复到数据库故障点,因为二进制日志包含备份后进行的所有更新    用于在主复制服务器上记录所有将发送

使用xtrabackup备份和还原mysql的多实例（基于全备）

1)安装percona-xtrabackup Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份 工具InnoDB Hotbackup的一个很好的替代品 # 下载安装包: # cd /usr/local/src # wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.2/binary/redhat/6/x86_64/percona-xtrabac

使用xtrabackup备份和还原mysql的多实例

1.安装percona-xtrabackup # 下载安装包: # cd /usr/local/src # wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.2/binary/redhat/6/x86_64/percona-xtrabackup-2.3.2-1.el6.x86_64.rpm # 安装依赖库: # yum -y install perl perl-devel libaio libaio-

mysql文件理解

mysql_Innodb的undo_log和redo_log 原创 2014年10月28日 11:26:34 众所周知,mysql支持多种存储引擎,现在常用的是MyISAM和InnoDB.MyISAM相对简单,但不支持事务,而InnoDB是事务安全型的.而InnoDB的事务处理离不开undo_log和redo_Log. mysql innodb存储引擎 下面简单的介绍一下innodb的存储引擎 内存缓冲池 如果mysql不用内存缓冲池,每次读写数据时,都需要访问磁盘,必定会大大增加I/O请求,导

搭建稳固的MySQL运维体系

本课时主要包含 MySQL 监控要点.MySQL SQL 审核执行.MySQL 备份恢复等内容. MySQL 监控要点 首先我们来学习 MySQL 监控要点,主要涉及服务器和 MySQL 两个方向的监控告警. 在这两个监控告警方向需要重点关注监控策略.监控趋势图及报警方式. 监控策略指的是每个监控项的告警阈值,例如 threads_running > 30 触发报警. 监控趋势图指的是对每个时间点,项目所采集数据的图形展现,基于历史数据的比对能够快速发现异常的监控项. 报警方式则按需配置,Ema