使用mysqlbinlog提取二进制日志

MySQL binlog日志记录了MySQL数据库从启用日志以来全部对当前数据库的变更。

binlog日志属于二进制文件，我们能够从binlog提取出来生成可阅读的SQL语句来重建当前数据库以及依据须要实现时点恢复或不全然恢复。本文主要描写叙述了假设提取binlog日志。并给出相关演示样例。

有关binlog的介绍与描写叙述请參考：MySQL 二进制日志(Binary Log)

1、提取mysqlbinlog的几种方式
a、使用show binlog events方式能够获取当前以及指定binlog的日志。不适宜提取大量日志。
b、使用mysqlbinlog命令行提取(适宜批量提取日志)。

2、演示show binlog events方式

mysql> show variables like ‘version‘;
+---------------+------------+
| Variable_name | Value      |
+---------------+------------+
| version       | 5.6.12-log |
+---------------+------------+

mysql> show binary logs;
+-----------------+-----------+
| Log_name        | File_size |
+-----------------+-----------+
| APP01bin.000001 |       120 |
+-----------------+-----------+

a、仅仅查看第一个binlog文件的内容(show binlog events)
mysql> use replication;
Database changed
mysql> select * from tb;
+------+-------+
| id   | val   |
+------+-------+
|    1 | robin |
+------+-------+

mysql> insert into tb values(2,‘jack‘);
Query OK, 1 row affected (0.02 sec)

mysql> flush logs;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into tb values(3,‘fred‘);
Query OK, 1 row affected (0.00 sec)

mysql> show binary logs;
+-----------------+-----------+
| Log_name        | File_size |
+-----------------+-----------+
| APP01bin.000001 |       409 |
| APP01bin.000002 |       363 |
+-----------------+-----------+

mysql> show binlog events;
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type  | Server_id | End_log_pos | Info                                               |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000001 |   4 | Format_desc |        11 |         120 | Server ver: 5.6.12-log, Binlog ver: 4              |
| APP01bin.000001 | 120 | Query       |        11 |         213 | BEGIN                                              |
| APP01bin.000001 | 213 | Query       |        11 |         332 | use `replication`; insert into tb values(2,‘jack‘) |
| APP01bin.000001 | 332 | Xid         |        11 |         363 | COMMIT /* xid=382 */                               |
| APP01bin.000001 | 363 | Rotate      |        11 |         409 | APP01bin.000002;pos=4                              |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
-- 在上面的结果中第3行能够看到我们运行的SQL语句。第4行为自己主动提交
-- Author : Leshami
-- Blog   : http://blog.csdn.net/leshami

b、查看指定binlog文件的内容(show binlog events in ‘binname.xxxxx‘)
mysql> show binlog events in ‘APP01bin.000002‘;
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type  | Server_id | End_log_pos | Info                                               |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000002 |   4 | Format_desc |        11 |         120 | Server ver: 5.6.12-log, Binlog ver: 4              |
| APP01bin.000002 | 120 | Query       |        11 |         213 | BEGIN                                              |
| APP01bin.000002 | 213 | Query       |        11 |         332 | use `replication`; insert into tb values(3,‘fred‘) |
| APP01bin.000002 | 332 | Xid         |        11 |         363 | COMMIT /* xid=394 */                               |
+-----------------+-----+-------------+-----------+-------------+----------------------------------------------------+

c、查看当前正在写入的binlog文件(show master status\G)
mysql> show master status\G
*************************** 1. row ***************************
             File: APP01bin.000002
         Position: 363
     Binlog_Do_DB:
 Binlog_Ignore_DB:
Executed_Gtid_Set:
1 row in set (0.00 sec)

d、获取指定位置binlog的内容(show binlog events from)
mysql> show binlog events from 213;
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+
| Log_name        | Pos | Event_type | Server_id | End_log_pos | Info                                               |
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+
| APP01bin.000001 | 213 | Query      |        11 |         332 | use `replication`; insert into tb values(2,‘jack‘) |
| APP01bin.000001 | 332 | Xid        |        11 |         363 | COMMIT /* xid=382 */                               |
| APP01bin.000001 | 363 | Rotate     |        11 |         409 | APP01bin.000002;pos=4                              |
+-----------------+-----+------------+-----------+-------------+----------------------------------------------------+

3、演示mysqlbinlog方式提取binlog

a、提取指定的binlog日志
# mysqlbinlog /opt/data/APP01bin.000001
# mysqlbinlog /opt/data/APP01bin.000001|grep insert
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
insert into tb values(2,‘jack‘)

b、提取指定position位置的binlog日志
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001

c、提取指定position位置的binlog日志并输出到压缩文件
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 |gzip >extra_01.sql.gz

d、提取指定position位置的binlog日志导入数据库
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 | mysql -uroot -p

e、提取指定開始时间的binlog并输出到日志文件
# mysqlbinlog --start-datetime="2014-12-15 20:15:23" /opt/data/APP01bin.000002 --result-file=extra02.sql

f、提取指定位置的多个binlog日志文件
# mysqlbinlog --start-position="120" --stop-position="332" /opt/data/APP01bin.000001 /opt/data/APP01bin.000002|more

g、提取指定数据库binlog并转换字符集到UTF8
# mysqlbinlog --database=test --set-charset=utf8 /opt/data/APP01bin.000001 /opt/data/APP01bin.000002 >test.sql

h、远程提取日志，指定结束时间
# mysqlbinlog -urobin -p -h192.168.1.116 -P3306 --stop-datetime="2014-12-15 20:30:23" --read-from-remote-server mysql-bin.000033 |more

i、远程提取使用row格式的binlog日志并输出到本地文件
# mysqlbinlog -urobin -p -P3606 -h192.168.1.177 --read-from-remote-server -vv inst3606bin.000005 >row.sql

4、获取mysqlbinlog的帮助信息(仅列出经常使用选项)
-?, --help
   显示帮助消息并退出。

-d, --database=name
   仅仅列出该数据库的条目(仅仅适用本地日志)。

-f, --force-read
   使用该选项。假设mysqlbinlog读它不能识别的二进制日志事件。它会打印警告，忽略该事件并继续。

没有该选项，假设mysqlbinlog读到此类事件则停止。

-h, --host=name
   获取给定主机上的MySQLserver的二进制日志。

-l, --local-load=name
   为指定文件夹中的LOAD DATA INFILE预处理本地暂时文件。

-o, --offset=#
   跳过前N个条目。

-p, --password[=name]
   当连接server时使用的password。假设使用短选项形式(-p)，选项和password之间不能有空格。
   假设在命令行中–password或-p选项后面没有password值，则提示输入一个password。

-P, --port=#
   用于连接远程server的TCP/IP端口号。

--protocol=name
   使用的连接协议。

-R, --read-from-remote-server|--read-from-remote-master=name
   从MySQLserver读二进制日志。假设未给出该选项，不论什么连接參数选项将被忽略。即连接到本地。
   这些选项是–host、–password、–port、–protocol、–socket和–user。

-r, --result-file=name
   将输出指向给定的文件。

-s, --short-form
   仅仅显示日志中包括的语句。不显示其他信息，该方式能够缩小生成sql文件的尺寸。

-S, --socket=name
   用于连接的套接字文件。

--start-datetime=name
   从二进制日志中读取等于或晚于datetime參量的事件，datetime值相对于执行mysqlbinlog的机器上的本地时区。
   该值格式应符合DATETIME或TIMESTAMP数据类型。比如：2004-12-25 11:25:56 ，建议使用引號标识。

--stop-datetime=name
   从二进制日志中读取小于或等于datetime的全部日志事件。关于datetime值的描写叙述參见--start-datetime选项。

-j, --start-position=#
   从二进制日志中第1个位置等于N參量时的事件開始读。

--stop-position=#
   从二进制日志中第1个位置等于和大于N參量时的事件起停止读。

--server-id=#  
   仅仅提取指定server_id的binlog日志

--set-charset=name
   加入SET NAMES character_set到输出     
               
-t, --to-last-log
   在MySQLserver中请求的二进制日志的结尾处不停止，而是继续打印直到最后一个二进制日志的结尾。
   假设将输出发送给同一台MySQLserver，会导致无限循环。

该选项要求–read-from-remote-server。

-D, --disable-log-bin
   禁用二进制日志。

假设使用–to-last-logs选项将输出发送给同一台MySQLserver，能够避免无限循环。

该选项在崩溃恢复时也非常实用，能够避免复制已经记录的语句。

凝视：该选项要求有SUPER权限。

-u, --user=name
   连接远程server时使用的MySQLusername。

-v, --verbose
   用于输出基于row模式的binlog日志，-vv为列数据类型加入凝视

-V, --version
   显示版本号信息并退出。

5、小结
a、能够通过show binlog events以及mysqlbinlog方式来提取binlog日志。
b、show binlog events 參数有限不适宜批量提取。mysqlbinlog可用于批量提取来建立恢复数据库的SQL。
c、mysqlbinlog能够基于时间点，position等方式实现不全然恢复或时点恢复。

d、mysqlbinlog能够从支持本地或远程方式提取binlog日志。
e、mysqlbinlog能够基于server_id，以及基于数据库级别提取日志。不支持表级别。

idkey=e61fdd22421b38cb5eef12db3c564ac0b5840f0f5cae4958e8b646740a79e680" target="_blank">

时间： 2024-09-29 19:41:33

使用mysqlbinlog提取二进制日志的相关文章

mysqlbinlog抽取二进制日志中某库某表的日志

1.先使用myqlbinlog命令把整个库的二进制日志抽取出来 mysqlbinlog --database=db_name mysql-bin.xxxxxx > db_name.sql 2.然后使用grep命令把某表的二进制日志过滤出来 grep -B3 -w tb_name db_name.sql > tb_name.sql 注意:如果有多个binlog文件,要依次解析二进制日志文件找出需要的某库,某表的二进制日志.

MySQL 二进制日志(Binary Log)

同大多数关系型数据库一样,日志文件是MySQL数据库的重要组成部分.MySQL有几种不同的日志文件,通常包括错误日志文件,二进制日志,通用日志,慢查询日志,等等.这些日志可以帮助我们定位mysqld内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等等.二进制日志,也叫binary log,是MySQL Server中最为重要的日志之一,本文主要描述二进制日志. 1.MySQL日志文件系统的组成   a.错误日志:记录启动.运行或停止mysqld时出现的问题.   b.通用日志:

用PHP提取MYSQL二进制日志的SQL语句

上一篇说道,在从日志提取出SQL语句的时候,碰到了一句SQL跨了N行无法提取.后来在网上搜了两句shell: sed -n '/^INSERT /,/;/p' log.sql > log_insert.sql sed -n '/^UPDATE /,/;/p' log.sql > log_update.sql 后经实践发现,这两句shell也是有缺陷的.这个问题是必须解决的,今天就趁这机会用php实现了跨行SQL的提取.注释已经很明了了,只需要注意变量$action为提取的SQL语句头,如DEL

基于binlog二进制日志的MySQL恢复笔记

基于binlog二进制日志的MySQL恢复笔记 刚好复习到这里,顺手做个小实验,记录下. 总的操作流程: step0.关掉数据库的对外访问[防止用户操作继续写入这个库] step1.mysqlbinlog 导出相关时间段数据库的二进制日志 step2.编辑today.sql找到误操作的那几条数据,删除并保存. step3.执行全备份恢复 mysql -e 'source /root/backup.sql;' step4.用二进制日志恢复今天的修改  mysql -e 'source /root/

MySQL二进制日志总结

二进制日志简单介绍 MySQL的二进制日志(binary log)是一个二进制文件,主要用于记录修改数据或有可能引起数据变更的MySQL语句.二进制日志(binary log)中记录了对MySQL数据库执行更改的所有操作,并且记录了语句发生时间.执行时长.操作数据等其它额外信息,但是它不记录SELECT.SHOW等那些不修改数据的SQL语句.二进制日志(binary log)主要用于数据库恢复和主从复制,以及审计(audit)操作. 官方文档关于二进制日志(binary log)的介绍如下: T

mariadb二进制日志和备份恢复

一.日志及其说明 1.错误日志 主要记录服务器启动和关闭过程中的信息,服务器运行过程中的错误信息,事务调度器运行一个事件是产生的日志信息,在从服务器上启动从服务器上启动从服务器进程是产生的日志信息. 2.一般查询日志 general_log.general_log_file .log.log_output 3.慢查询日志 查询执行时长超过指定的查询时长,即为慢查询.主要的配置文件有:slow_query_log,slow_query_log_file /mydata/data/hostname.

mysql二进制日志详解及备份恢复、基于mysqldump及lvmsnapshot做备份恢复详解

二进制日志: 时间点恢复 复制 20140411 回顾: 日志文件:6类 一般查询日志:log, general_log, log_output 慢查询日志: 错误日志 二进制日志 中继日志 事务日志 二进制日志:"修改" position:位置 time: 时间 滚动: 1.大小 2.时间 二进制日志的功用: 即时点恢复: 复制: mysql> SHOW MASTER STATUS; mysql> FLUSH LOGS; mysql> SHOW BINARY LOG

通过 MySQL 二进制日志恢复删除的记录

删除 MySQL 表中的数据 mysql> use sbtest; mysql> select count(*) from sbtest1; +----------+ | count(*) | +----------+ | 1000 | +----------+ 1 row in set (0.00 sec) mysql> delete from sbtest1; Query OK, 1000 rows affected (0.21 sec) mysql> select count

MySQL中基于mysqldump和二进制日志log-bin二进制日志进行逻辑备份以及基于时间点的还原

本文出处:http://www.cnblogs.com/wy123/p/6956464.html 本文仅模拟使用mysqldump和log-bin二进制日志进行简单测试,仅作为个人学习笔记,可能离实际应用还有很大差距,仅参考. 开启MySQL的bin-log二进制日志 模拟还原是需要mysqldump出来的文件和log-bin,因此需要开始log-bin二进制日志. mysql5.7.18在开启二进制日志的时候除了要设置log-bin的位置之外,另外需要设置一个server-id,MySQL之前