解析MySQL binlog --（2）FORMAT_DESCRIPTION_EVENT

该格式描述事件时binlog version 4中为了取代之前版本的START_EVENT_3事件而引入的。是binlog文件的第一个事件，并在一个binlog文件中仅出现一次。具体定义：

binlog-version：binlog版本
mysql-server version：服务器版本
create timestamp：指明binlog文件的创建时间。如果该binlog是由于切换产生，那么该字段是0
event header length：189
event type header lengths：记录所有事件的私有事件头的长度，event的个数定义5.6，5.7为40个，也就是40个字节

[[email protected] data]$ hexdump -Cv mysql-bin.000002 > 2.txt
[[email protected] data]$ vi 2.txt  

00000000  fe 62 69 6e 46 c4 a4 5a  0f 0b 00 00 00 74 00 00  |.binF..Z.....t..|
00000010  00 78 00 00 00 01 00 04  00 35 2e 36 2e 32 36 2d  |.x.......5.6.26-|
00000020  64 65 62 75 67 2d 6c 6f  67 00 00 00 00 00 00 00  |debug-log.......|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00 46 c4 a4 5a 13  |...........F..Z.|
00000050  38 0d 00 08 00 12 00 04  04 04 04 12 00 00 5c 00  |8.............\.|
00000060  04 1a 08 00 00 00 08 08  08 02 00 00 00 0a 0a 0a  |................|
00000070  19 19 00 01 c8 a1 c5 19  62 c4 a4 5a 02 0b 00 00  |........b..Z....|
00000080  00 47 00 00 00 bf 00 00  00 08 00 01 00 00 00 00  |.G..............|
00000090  00 00 00 03 00 00 1a 00  00 00 00 00 00 01 00 00  |................|
000000a0  00 40 00 00 00 00 06 03  73 74 64 04 21 00 21 00  |[email protected]!.!.|
000000b0  21 00 79 7a 73 00 42 45  47 49 4e 30 85 8c ba 62  |!.yzs.BEGIN0...b|
000000c0  c4 a4 5a 13 0b 00 00 00  2d 00 00 00 ec 00 00 00  |..Z.....-.......|
000000d0  00 00 46 00 00 00 00 00  01 00 03 79 7a 73 00 02  |..F........yzs..|

分析：

1、开头4个字节binlog magic number：fe 62 69 6e，即.bin

2、第一个binlog事件是FORMAT_DESCRIPTION_EVENT。

3、timestamp： 46 c4 a4 5a，即小端显示0x5aa4c446，十进制1520747590，
[[email protected] data]$ date -d "@1520747590"
Sat Mar 10 21:53:10 PST 2018

binlog解析的时间是：#180310 21:53:10 server id 11 end_log_pos 120 CRC32 0x19c5a1c8 Start: binlog v 4, server v 5.6.26-debug-log created 180310 21:53:10 at startup
3、event type：0f，即15

5、server-id：0b 00 00 00，即小端显示0x00 00 00 0b，即为11

6、event size：74 00 00 00：0x 00 00 00 74，116。120-4（.bin）

7、next-log pos：78 00 00 00：0x00 00 00 78，120，下一个event的位置，相对文件头位置，和end_log_pos 120一致

8、flag：01 00；为0X0001那么会在MYSQLBINLOG输出中报一个警告说本binlog没有关闭

9、binlog version：04 00，小端显示及0X0004,和mysqlbinlog中的解析Start: binlog v 4一致

10、mysql server version：5.6.26-debug-log，剩下的字节0填充

00000010                              35 2e 36 2e 32 36 2d  |.x.......5.6.26-|
00000020  64 65 62 75 67 2d 6c 6f  67 00 00 00 00 00 00 00  |debug-log.......|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00

11、create stamp：46 c4 a4 5a，和event头一样

12、event header length：13，即19字节

13、event header lengths：array[30]-[32]:0a 0a 0a，表示 WRITE_ROWS_EVENT = 30,UPDATE_ROWS_EVENT = 31, DELETE_ROWS_EVENT = 32的私有事件头长度

00000050  38 0d 00 08 00 12 00 04  04 04 04 12 00 00 5c 00  |8.............\.|
00000060  04 1a 08 00 00 00 08 08  08 02 00 00 00 0a 0a 0a  |................|
00000070  19 19 00 01 c8 a1 c5 19

参考：http://blog.itpub.net/7728585/viewspace-2133189/

原文地址：http://blog.51cto.com/yanzongshuai/2085244

时间： 2024-11-08 08:45:28

解析MySQL binlog --（2）FORMAT_DESCRIPTION_EVENT的相关文章

腾讯工程师带你深入解析 MySQL binlog

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 本文由 腾讯云数据库内核团队 发布在云+社区 1.概述 binlog是Mysql sever层维护的一种二进制日志,与innodb引擎中的redo/undo log是完全不同的日志:其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句,并以"事务"的形式保存在磁盘中: 作用主要有: 复制:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves并回放来达到mast

解析MySQL binlog --（1）大致结构及event type

1.简介 binlog以事件的形式记录数据库变更情况.通过执行show binlog events in "binlog file"命令可以查看事件 mysql> show binlog events in "mysql-bin.000002"; +------------------+-----+-------------+-----------+-------------+------------------------------------------

解析MySQL binlog --（3）QUERY_EVENT

一.介绍 QUERY_EVENT事件以文本的形式记录信息.当binlog格式时statement时,执行的语句都存储在QUERY_EVENT中,如下所示: mysql> show binlog events in "mysql-bin.000002"; +------------------+-----+-------------+-----------+-------------+---------------------------------------------+ |

解析MySQL binlog --（4）TABLE_MAP_EVENT

1.简介 row格式的binlog文件中,每个ROW_EVENT之前都有一个TABLE_MAP_EVENT,用于描述表的内部ID和结构定义. mysql> show binlog events in "mysql-bin.000002"; +------------------+-----+-------------+-----------+-------------+---------------------------------------------+ | Log_nam

解析MySQL binlog --（5）ROWS_EVENT:WRITE_ROWS_EVENT、UP

1.介绍 对于statement格式的binlog,所有增删改的SQL语句都记录在QUERY_EVENT中,而row格式的binlog则以ROWS_EVENT格式记录对数据库的修改.ROWS_EVENT分为3种:WRITE_ROWS_EVENT.UPDATE_ROWS_EVENT.DELETE_ROWS_EVENT,分别对应insert.update.delete.WRITE_ROWS_EVENT包含了要插入的数据:UPDATE_ROWS_EVENT不仅包含行修改后的值,也包括修改前的值:DEL

利用Canal解析mysql binlog日志

一.安装包下载(canal.deployer-x.x.x.tar.gz  官方建议使用1.0.22版本) https://github.com/alibaba/canal/releases 二.解压文件 tar -zxvf canal.deployer-1.0.22.tar.gz -C /app/canal/ 三.修改canal配置文件 vim $CANAL_HOME/conf/canal.properties vim $CANAL_HOME/conf/example/instance.prop

mysql binlog解析概要

1,dump协议: 根据数据库的ip+port创建socket,如果创建成功,说明链接建立成功,接下来是使用dump协议订阅binlog 链接建立成功之后,服务端会主动向客户端发送如下问候信息greeting(可以理解为经java转换后,是一个java对象), 在下面的代码中可以看到greeting中的信息: this.context.setServerStatus(greeting.getServerStatus());//this.context.setServerVersion(greet

PHP Client for Mysql Binlog

PHP解析Mysql Binlog,依赖于mysql-replication-listener库 详见:https://github.com/bullsoft/php-binlog Install MySQL Replication Listener https://github.com/bullsoft/mysql-replication-listener/archive/master.zip 该源代码,有一处bug,在 tcp_driver.cpp 第 650 行处: int Binlog_

[转]mysql binlog in realtime

原文:http://guweigang.com/blog/2013/11/18/mysql-binlog-in-realtime/ 众所周知,MySQL是最受欢迎的互联网数据库(没有之一)———————为开源而生.发展初期,很多公司都受益于其易用性和经济性.随着这些公司的成长,越来越多的公司投入到MySQL的开发中,因此MySQL的特性也越来越丰富,如:不同特性的存储引擎.Binlog主从复制方案等. 今天我们要探讨的就是如何实时解析MySQL Binlog,以及其所带来的巨大的业务价值.我可以