Mysql 通过全量备份和binlog恢复整体数据

某天工作时间，一个二货犯晕登错生产当测试环境了，直接drop了一个数据库,需要紧急恢复!可利用备份的数据文件以及增量的 binlog 文件进行数据恢复。

具体思路归纳几点：

1、恢复条件为 MySQL 要开启 binlog 日志功能，并且要全备和增量的所有数据。

2、恢复时建议对外停止更新，即禁止更新数据库。（这点很重要）

3、先恢复全量，然后把全备时刻点以后的增量日志，按顺序恢复成 SQL 文件，

4、然后把文件中有问题的SQL语句删除(也可通过时间和位置点)，再恢复到数据库。

具体实例演示：

1、首先要确保MySQL开启了binlog日志功能，检查如下结果

mysql> show variables like ‘%log_bin%‘;
+---------------------------------+-----------------------------+
| Variable_name                   | Value                       |
+---------------------------------+-----------------------------+
| log_bin                         | ON                          |
| log_bin_basename                | /mysql_data/mysql-bin       |
| log_bin_index                   | /mysql_data/mysql-bin.index |
| log_bin_trust_function_creators | OFF                         |
| log_bin_use_v1_row_events       | OFF                         |
| sql_log_bin                     | ON                          |
+---------------------------------+-----------------------------+
6 rows in set (0.01 sec)

2、查看当前测试表里面数据信息后面好做对比

mysql> select * from Student;
+-----------+-----------+------+------+-------+
| Sno       | Sname     | Ssex | Sage | Sdept |
+-----------+-----------+------+------+-------+
| 200215121 | 李勇      | 男   |   20 | CS    |
| 200215122 | 刘晨      | 女   |   19 | CS    |
| 200215123 | 王敏      | 女   |   18 | MA    |
| 200215125 | 张立      | 女   |   19 | IS    |
| 200215126 | 虎威      | 男   |   25 | CS    |
| 200215127 | 魏大师    | 男   |   35 | IS    |
| 200215128 | 老谢      | 男   |   33 | MA    |
| 200215129 | 小贾      | 男   |   30 | CS    |
| 200215130 | 会民      | 男   |   23 | CS    |
| 200215131 | 陈兴      | 男   |   33 | MA    |
| 200215132 | 阿帆      | 男   |   36 | IS    |
| 200215133 | 国良      | 男   |   40 | IS    |
| 200215134 | 老宋      | 男   |   40 | IS    |
| 200215135 | 光光      | 男   |   35 | IS    |
| 200215136 | 王老板    | 女   |   27 | IS    |
+-----------+-----------+------+------+-------+
15 rows in set (0.00 sec)

3、现在进行全备份

mysqldump -u root -p -B -F -R -x  student|gzip > /mysql_backup/student_$(date +%Y%m%d_%H%M%S).sql.gz

参数说明：
-B：指定数据库
-F：刷新日志
-R：备份存储过程等
-x：锁表

4、再次插入新数据

INSERT INTO Student VALUES (‘200215137‘,‘程程‘,‘女‘,30,‘IS‘);
INSERT INTO Student VALUES (‘200215138‘,‘琪琪‘,‘男‘,29,‘MA‘);
INSERT INTO Student VALUES (‘200215139‘,‘龙龙‘,‘男‘,27,‘IS‘);

5、检查是否插入成功，如下可以看出已经插入成功

mysql> select * from Student;
+-----------+-----------+------+------+-------+
| Sno       | Sname     | Ssex | Sage | Sdept |
+-----------+-----------+------+------+-------+
| 200215121 | 李勇      | 男   |   20 | CS    |
| 200215122 | 刘晨      | 女   |   19 | CS    |
| 200215123 | 王敏      | 女   |   18 | MA    |
| 200215125 | 张立      | 女   |   19 | IS    |
| 200215126 | 虎威      | 男   |   25 | CS    |
| 200215127 | 魏大师    | 男   |   35 | IS    |
| 200215128 | 老谢      | 男   |   33 | MA    |
| 200215129 | 小贾      | 男   |   30 | CS    |
| 200215130 | 会民      | 男   |   23 | CS    |
| 200215131 | 陈兴      | 男   |   33 | MA    |
| 200215132 | 阿帆      | 男   |   36 | IS    |
| 200215133 | 国良      | 男   |   40 | IS    |
| 200215134 | 老宋      | 男   |   40 | IS    |
| 200215135 | 光光      | 男   |   35 | IS    |
| 200215136 | 王老板    | 女   |   27 | IS    |
| 200215137 | 程程      | 女   |   30 | IS    |
| 200215138 | 琪琪      | 男   |   29 | MA    |
| 200215139 | 龙龙      | 男   |   27 | IS    |
+-----------+-----------+------+------+-------+
18 rows in set (0.00 sec)

6.此时误操作，删除了student数据库

mysql> drop database student;
Query OK, 3 rows affected (0.11 sec)
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.00 sec)

7.查看全备之后备份文件

[[email protected] mysql_backup]# cd  /mysql_backup
[[email protected] mysql_backup]# gzip -d student_20170829_090319.sql.gz 
[[email protected] mysql_backup]# ls
student_20170829_090319.sql
[[email protected] mysql_backup]# vim student_20170829_090319.sql

8.检查并移动binlog文件，并导出为 SQL 文件剔除其中的 drop 语句，查看 MySQL 的数据存放目录，

由下面可知是在/mysql_data下，将 binlog 文件导出SQL文件，并vim编辑它删除其中的 drop 语句。

/home/mysql/mysql5/bin/mysqlbinlog   --no-defaults  /tmp/mysql-bin.000004 > /tmp/04.sql

注意：在恢复全备数据之前必须将该 binlog文件移出，否则恢复过程中，会继续写入语句到 binlog，最终导致增量恢复数据部分变得比较混乱。

在转换sql的时候可能会报错，具体信息如下：

[[email protected] tmp]# /home/mysql/mysql5/bin/mysqlbinlog   /tmp/mysql-bin.000004 > /tmp/04.sql

mysqlbinlog: [ERROR] unknown variable ‘default-character-set=utf8‘

原因是mysqlbinlog这个工具无法识别binlog中的配置中的default-character-set=utf8这个指令。

两个方法可以解决这个问题

  • 在MySQL的配置/etc/my.cnf中将default-character-set=utf8 修改为 character-set-server = utf8，但是这需要重启MySQL服务，如果你的MySQL服务正在忙，那这样的代价会比较大。
  • 用mysqlbinlog --no-defaults mysql-bin.000004 命令打开

9、开始恢复全备数据

[[email protected] tmp]# mysql -u root -p < /mysql_backup/student_20170829_090319.sql
Enter password:

查看数据看看，student在不在,可以看到已经在了

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| student            |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

11、开始恢复增量数据

使用04.sql文件恢复全备时刻到删除数据库之间新增的数据，编辑04bin.sql #删除里面的drop语句

[[email protected] tmp]# vim 04.sql

将drop 操作下面的内容删除
drop database student
/*!*/;
SET @@SESSION.GTID_NEXT= ‘AUTOMATIC‘ /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
/*!50003 SET [email protected]_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

不然会报如下错误：

ERROR 1790 (HY000) at line 96: @@SESSION.GTID_NEXT cannot be changed by a client that owns a GTID.

The client owns ANONYMOUS. Ownership is released on COMMIT or ROLLBACK.

我的binlog文件具体内容如下：

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @[email protected]@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#170829  9:03:22 server id 201609  end_log_pos 123 CRC32 0x669b3a18 Start: binlog v 4, server v 5.7.18-log created 170829  9:03:22
# Warning: this binlog is either in use or was not closed properly.
BINLOG ‘
Wr2kWQ+JEwMAdwAAAHsAAAABAAQANS43LjE4LWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
ARg6m2Y=
‘/*!*/;
# at 123
#170829  9:03:22 server id 201609  end_log_pos 154 CRC32 0xf909764e Previous-GTIDs
# [empty]
# at 154
#170829  9:04:42 server id 201609  end_log_pos 219 CRC32 0x754f68f2 Anonymous_GTIDlast_committed=0sequence_number=1
SET @@SESSION.GTID_NEXT= ‘ANONYMOUS‘/*!*/;
# at 219
#170829  9:04:42 server id 201609  end_log_pos 294 CRC32 0xdef39415 Querythread_id=7exec_time=0error_code=0
SET TIMESTAMP=1503968682/*!*/;
SET @@session.pseudo_thread_id=7/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1344274432/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 294
#170829  9:04:42 server id 201609  end_log_pos 359 CRC32 0xad757652 Table_map: `student`.`Student` mapped to number 225
# at 359
#170829  9:04:42 server id 201609  end_log_pos 421 CRC32 0x5da9edf3 Write_rows: table id 225 flags: STMT_END_F
BINLOG ‘
qr2kWROJEwMAQQAAAGcBAAAAAOEAAAAAAAEAB3N0dWRlbnQAB1N0dWRlbnQABf7+/gL+CP4h/jz+
Bv48HlJ2da0=
qr2kWR6JEwMAPgAAAKUBAAAAAOEAAAAAAAEAAgAF/+AJMjAwMjE1MTM3Bueoi+eoiwPlpbMeAAJJ
U/PtqV0=
‘/*!*/;
# at 421
#170829  9:04:42 server id 201609  end_log_pos 452 CRC32 0xfcd87186 Xid = 168
COMMIT/*!*/;
# at 452
#170829  9:04:42 server id 201609  end_log_pos 517 CRC32 0xe47a26ba Anonymous_GTIDlast_committed=1sequence_number=2
SET @@SESSION.GTID_NEXT= ‘ANONYMOUS‘/*!*/;
# at 517
#170829  9:04:42 server id 201609  end_log_pos 592 CRC32 0x0d3e44d1 Querythread_id=7exec_time=0error_code=0
SET TIMESTAMP=1503968682/*!*/;
BEGIN
/*!*/;
# at 592
#170829  9:04:42 server id 201609  end_log_pos 657 CRC32 0x98d94728 Table_map: `student`.`Student` mapped to number 225
# at 657
#170829  9:04:42 server id 201609  end_log_pos 719 CRC32 0x32c7750e Write_rows: table id 225 flags: STMT_END_F
BINLOG ‘
qr2kWROJEwMAQQAAAJECAAAAAOEAAAAAAAEAB3N0dWRlbnQAB1N0dWRlbnQABf7+/gL+CP4h/jz+
Bv48HihH2Zg=
qr2kWR6JEwMAPgAAAM8CAAAAAOEAAAAAAAEAAgAF/+AJMjAwMjE1MTM4BueQqueQqgPnlLcdAAJN
QQ51xzI=
‘/*!*/;
# at 719
#170829  9:04:42 server id 201609  end_log_pos 750 CRC32 0x92ebbf95 Xid = 169
COMMIT/*!*/;
# at 750
#170829  9:04:42 server id 201609  end_log_pos 815 CRC32 0xfe05a22e Anonymous_GTIDlast_committed=2sequence_number=3
SET @@SESSION.GTID_NEXT= ‘ANONYMOUS‘/*!*/;
# at 815
#170829  9:04:42 server id 201609  end_log_pos 890 CRC32 0x551c26a4 Querythread_id=7exec_time=0error_code=0
SET TIMESTAMP=1503968682/*!*/;
BEGIN
/*!*/;
# at 890
#170829  9:04:42 server id 201609  end_log_pos 955 CRC32 0x67c477d0 Table_map: `student`.`Student` mapped to number 225
# at 955
#170829  9:04:42 server id 201609  end_log_pos 1017 CRC32 0x5d3f2503 Write_rows: table id 225 flags: STMT_END_F
BINLOG ‘
qr2kWROJEwMAQQAAALsDAAAAAOEAAAAAAAEAB3N0dWRlbnQAB1N0dWRlbnQABf7+/gL+CP4h/jz+
Bv48HtB3xGc=
qr2kWR6JEwMAPgAAAPkDAAAAAOEAAAAAAAEAAgAF/+AJMjAwMjE1MTM5Bum+mem+mQPnlLcbAAJJ
UwMlP10=
‘/*!*/;
# at 1017
#170829  9:04:42 server id 201609  end_log_pos 1048 CRC32 0x2d5f70ba Xid = 170
COMMIT/*!*/;
# at 1048
#170829  9:06:30 server id 201609  end_log_pos 1113 CRC32 0xb8cdf9b6 Anonymous_GTIDlast_committed=3sequence_number=4
SET @@SESSION.GTID_NEXT= ‘ANONYMOUS‘/*!*/;
# at 1113
#170829  9:06:30 server id 201609  end_log_pos 1214 CRC32 0x69d17a84 Querythread_id=7exec_time=0error_code=0
SET TIMESTAMP=1503968790/*!*/;
drop database student
/*!*/;
SET @@SESSION.GTID_NEXT= ‘AUTOMATIC‘ /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
/*!50003 SET [email protected]_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

调整好后开始恢复增量数据

[[email protected] tmp]# mysql -u root -p  < 04.sql

Enter password:

再次查看数据库，发现全备份到删除数据库之间的那三条数据也恢复了!!

mysql> select * from Student;
+-----------+-----------+------+------+-------+
| Sno       | Sname     | Ssex | Sage | Sdept |
+-----------+-----------+------+------+-------+
| 200215121 | 李勇      | 男   |   20 | CS    |
| 200215122 | 刘晨      | 女   |   19 | CS    |
| 200215123 | 王敏      | 女   |   18 | MA    |
| 200215125 | 张立      | 女   |   19 | IS    |
| 200215126 | 虎威      | 男   |   25 | CS    |
| 200215127 | 魏大师    | 男   |   35 | IS    |
| 200215128 | 老谢      | 男   |   33 | MA    |
| 200215129 | 小贾      | 男   |   30 | CS    |
| 200215130 | 会民      | 男   |   23 | CS    |
| 200215131 | 陈兴      | 男   |   33 | MA    |
| 200215132 | 阿帆      | 男   |   36 | IS    |
| 200215133 | 国良      | 男   |   40 | IS    |
| 200215134 | 老宋      | 男   |   40 | IS    |
| 200215135 | 光光      | 男   |   35 | IS    |
| 200215136 | 王老板    | 女   |   27 | IS    |
| 200215137 | 程程      | 女   |   30 | IS    |
| 200215138 | 琪琪      | 男   |   29 | MA    |
| 200215139 | 龙龙      | 男   |   27 | IS    |
+-----------+-----------+------+------+-------+
18 rows in set (0.00 sec)

以上就是MySQL 数据库增量数据恢复的实例过程!如有不足还请指正

时间： 2024-08-08 09:40:38

Mysql 通过全量备份和binlog恢复整体数据的相关文章

mysql的全量备份与增量备份

全量备份:可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表. 备份所有数据库:[[email protected] ~]# mysqldump -uroot -p123456 --all-databases >/opt/all.sqlmysqldump: [Warning] Using a password on the command line interface can be insecure. 备份单个数据库的所有表:[[email protected]

SqlServer获取数据库最近全量备份时间

应用场景,SqlServer的增量备份是在全量备份的基础上进行的,如果需要恢复的话,也需要先恢复全量备份,再恢复对应的增量备份文件. 例如,我们全量备份A数据库产生1.bak文件,此时再进行增量备份,将产生2.diff文件. 如果在恢复的时候,先恢复1.bak,再恢复2.diff,可以正常的恢复到原数据. 但是如果在这个过程中,又进行了另一次全量备份,那么,此时再想通过1.bak + 2.diff来进行恢复就会失败. 因为增量备份是针对最新的全量备份进行增量的,因此,我们需要判断生成1.bak全

mysql全量备份与增量备份

一.全量备份 全量备份就是把数据库中所有的数据进行备份. 备份所有库: mysqldump -uroot -p456 -S /data/3306/mysql.sock -F -A -B |gzip >/server/backup/mysqlbak_$(date+%F).sql.gz 备份一个库: mysqldump -uroot -p456 -S /data/3306/mysql.sock -F -B oldboy|gzip >/server/backup/mysqlbak_$(date+%F

mysql 全量备份和增量备份

mysql 全量备份: vim /root/mysql_bakup.sh #!/bin/bash #Date:2017/5/2 #Author:wangpengtai #Blog:http://wangpengtai.blog.51cto.com #At Sunday, we will backup the completed databases and the incresed binary log during Saturday to Sunday. #In other weekdays, 

Percona Xtrabackup实现mysql全量备份和增量备份

###########################################################################        安装mysql或者mariaDB本地也要装mysql或者mariaDB相关的包          ##########################################################################略 ######################################### 

mysql 全量备份与增量备份

全量备份[[email protected] adm]# cat DBfullBak.sh #!/bin/bash #use mysqldump to fully backup mysql data BakDir=/root/adm/full LogFile=/root/adm/full/bak.log Date=`date +%Y%m%d` Begin=`date +"%Y年%m月%d日 %H:%M:%S"` cd $BakDir DumpFile=$Date.sql GZDumpF

mysql全量备份及增量备份流程

由于线上mysql数据量很大,天天进行全备份数据既浪费时间又占用资源,所以打算采用全量备份和增量备份结合的方式进行备份采用每周日全量备份.周一到周六增量备份的方式背景是从一台mysql上进行备份,然后还原到另一台mysql上实际上是从线上数据库备份,再还原到线下数据库上先从线下找两台机器测试用191机器模拟线上mysql在122机器上新装了一个mysql用来还原 全备份 先说一下全备份,在191上 #!/bin/bash cd /opt/bak/local/mysql/test date_str

mysql备份脚本，一天执行一次全量备份，三次增量备份

线上一个小业务的mysql备份 全量备份 #!/bin/bash #crete by hexm at 2016-10-02 #scripte name : full_backup.sh #descriptioni : mysql full backup. oneday at a time. #time info date=`date +%Y%m%d` #time_now1=`date +%Y%m%d-%H:%M:%S` #dir info BACKUP_DIR="/app/dbbackup/fu

全量备份与增量备份实践

1.1 全备备份与恢复全备实践 ####################################################################################### 1.安装Xtrabackup备份命令 wget -O /etc/yum.repos.d/epel.repo  http://mirrors.aliyun.com/repo/epel-6.repo yum -y install perl perl-devel libaio libaio-dev