解析MySQL binlog --(4)TABLE_MAP_EVENT

1、简介

row格式的binlog文件中,每个ROW_EVENT之前都有一个TABLE_MAP_EVENT,用于描述表的内部ID和结构定义。

mysql> show binlog events in "mysql-bin.000002";
+------------------+-----+-------------+-----------+-------------+---------------------------------------------+
| Log_name         | Pos | Event_type  | Server_id | End_log_pos | Info                                        |
+------------------+-----+-------------+-----------+-------------+---------------------------------------------+
| mysql-bin.000002 |   4 | Format_desc |        11 |         120 | Server ver: 5.6.26-debug-log, Binlog ver: 4 |
| mysql-bin.000002 | 120 | Query       |        11 |         191 | BEGIN                                       |
| mysql-bin.000002 | 191 | Table_map   |        11 |         236 | table_id: 70 (yzs.t1)                       |
| mysql-bin.000002 | 236 | Write_rows  |        11 |         280 | table_id: 70 flags: STMT_END_F              |
| mysql-bin.000002 | 280 | Xid         |        11 |         311 | COMMIT /* xid=9 */                          |
| mysql-bin.000002 | 311 | Query       |        11 |         382 | BEGIN                                       |
| mysql-bin.000002 | 382 | Table_map   |        11 |         427 | table_id: 70 (yzs.t1)                       |
| mysql-bin.000002 | 427 | Write_rows  |        11 |         471 | table_id: 70 flags: STMT_END_F              |
| mysql-bin.000002 | 471 | Xid         |        11 |         502 | COMMIT /* xid=37 */                         |
+------------------+-----+-------------+-----------+-------------+---------------------------------------------+
9 rows in set (0.00 sec)

2、TABLE_MAP_EVENT格式定义

3、结合案例说明

--------公有事件头-------

1)timestamp:62 ca a4 5a:4个字节

2)event_type:13:1个字节,TABLE_MAP_EVENT = 19

3)server-id:0b 00 00 00,4个字节,即11

4)event_size:2d 00 00 00,4个字节,即event总大小是45字节

5)next-log ps:ec 00 00 00,4个字节,即236

6)flag:00 00

----------私有事件头-------------

7)table ID:46 00 00 00 00 00,即table ID是70

8)flag:01 00,暂时未使用

----------事件体-------------------

9)schema name length:03,即schema name大小是3个字节

10)schema name:79 7a 73,yzs

11)00

12)table name length:02,即表名大小是2个字节

13)table name:74 31,即表名是t1

14)00

15)col count:02,即列个数是2

16)col type:03 03

enum enum_field_types { MYSQL_TYPE_DECIMAL, MYSQL_TYPE_TINY,
            MYSQL_TYPE_SHORT,  MYSQL_TYPE_LONG,
            MYSQL_TYPE_FLOAT,  MYSQL_TYPE_DOUBLE,
            MYSQL_TYPE_NULL,   MYSQL_TYPE_TIMESTAMP,
            MYSQL_TYPE_LONGLONG,MYSQL_TYPE_INT24,
            MYSQL_TYPE_DATE,   MYSQL_TYPE_TIME,
            MYSQL_TYPE_DATETIME, MYSQL_TYPE_YEAR,
            MYSQL_TYPE_NEWDATE, MYSQL_TYPE_VARCHAR,
            MYSQL_TYPE_BIT,
            MYSQL_TYPE_TIMESTAMP2,
            MYSQL_TYPE_DATETIME2,
            MYSQL_TYPE_TIME2,
            MYSQL_TYPE_NEWDECIMAL=246,
            MYSQL_TYPE_ENUM=247,
            MYSQL_TYPE_SET=248,
            MYSQL_TYPE_TINY_BLOB=249,
            MYSQL_TYPE_MEDIUM_BLOB=250,
            MYSQL_TYPE_LONG_BLOB=251,
            MYSQL_TYPE_BLOB=252,
            MYSQL_TYPE_VAR_STRING=253,
            MYSQL_TYPE_STRING=254,
            MYSQL_TYPE_GEOMETRY=255  

}; 

17)col meta length:00,1个字节

18)col meta:无

19)null bitmap:02,列数是2,一个字节就够:00000010,即主键列那列不能为NULL

20)checksum,不在事件体里。d8 b9 92 2b
write_footer函数最后会计算checksum,并放到事件体后。

virtual bool write(IO_CACHE* file)
{
  return(write_header(file, get_data_size()) ||
  write_data_header(file) ||
  write_data_body(file) ||
  write_footer(file));
}  
# at 191
#180310 21:53:38 server id 11  end_log_pos 236 CRC32 0x2b92b9d8     Table_map: `yzs`.`t1` mapped to number 70 

可以看到和binlog文件里解析出来的一致。

原文地址:http://blog.51cto.com/yanzongshuai/2090758

时间: 2024-10-08 04:19:08

解析MySQL binlog --(4)TABLE_MAP_EVENT的相关文章

腾讯工程师带你深入解析 MySQL binlog

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 本文由 腾讯云数据库内核团队 发布在云+社区 1.概述 binlog是Mysql sever层维护的一种二进制日志,与innodb引擎中的redo/undo log是完全不同的日志:其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句,并以"事务"的形式保存在磁盘中: 作用主要有: 复制:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves并回放来达到mast

解析MySQL binlog --(2)FORMAT_DESCRIPTION_EVENT

该格式描述事件时binlog version 4中为了取代之前版本的START_EVENT_3事件而引入的.是binlog文件的第一个事件,并在一个binlog文件中仅出现一次.具体定义:binlog-version:binlog版本mysql-server version:服务器版本create timestamp:指明binlog文件的创建时间.如果该binlog是由于切换产生,那么该字段是0event header length:189event type header lengths:记

解析MySQL binlog --(1)大致结构及event type

1.简介 binlog以事件的形式记录数据库变更情况.通过执行show binlog events in "binlog file"命令可以查看事件 mysql> show binlog events in "mysql-bin.000002"; +------------------+-----+-------------+-----------+-------------+------------------------------------------

解析MySQL binlog --(3)QUERY_EVENT

一.介绍 QUERY_EVENT事件以文本的形式记录信息.当binlog格式时statement时,执行的语句都存储在QUERY_EVENT中,如下所示: mysql> show binlog events in "mysql-bin.000002"; +------------------+-----+-------------+-----------+-------------+---------------------------------------------+ |

解析MySQL binlog --(5)ROWS_EVENT:WRITE_ROWS_EVENT、UP

1.介绍 对于statement格式的binlog,所有增删改的SQL语句都记录在QUERY_EVENT中,而row格式的binlog则以ROWS_EVENT格式记录对数据库的修改.ROWS_EVENT分为3种:WRITE_ROWS_EVENT.UPDATE_ROWS_EVENT.DELETE_ROWS_EVENT,分别对应insert.update.delete.WRITE_ROWS_EVENT包含了要插入的数据:UPDATE_ROWS_EVENT不仅包含行修改后的值,也包括修改前的值:DEL

利用Canal解析mysql binlog日志

一.安装包下载(canal.deployer-x.x.x.tar.gz  官方建议使用1.0.22版本) https://github.com/alibaba/canal/releases 二.解压文件 tar -zxvf canal.deployer-1.0.22.tar.gz -C /app/canal/ 三.修改canal配置文件 vim $CANAL_HOME/conf/canal.properties vim $CANAL_HOME/conf/example/instance.prop

mysql binlog解析概要

1,dump协议: 根据数据库的ip+port创建socket,如果创建成功,说明链接建立成功,接下来是使用dump协议订阅binlog 链接建立成功之后,服务端会主动向客户端发送如下问候信息greeting(可以理解为经java转换后,是一个java对象), 在下面的代码中可以看到greeting中的信息: this.context.setServerStatus(greeting.getServerStatus());//this.context.setServerVersion(greet

PHP Client for Mysql Binlog

PHP解析Mysql Binlog,依赖于mysql-replication-listener库 详见:https://github.com/bullsoft/php-binlog Install MySQL Replication Listener https://github.com/bullsoft/mysql-replication-listener/archive/master.zip 该源代码,有一处bug,在 tcp_driver.cpp 第 650 行处: int Binlog_

[转]mysql binlog in realtime

原文:http://guweigang.com/blog/2013/11/18/mysql-binlog-in-realtime/ 众所周知,MySQL是最受欢迎的互联网数据库(没有之一)———————为开源而生.发展初期,很多公司都受益于其易用性和经济性.随着这些公司的成长,越来越多的公司投入到MySQL的开发中,因此MySQL的特性也越来越丰富,如:不同特性的存储引擎.Binlog主从复制方案等. 今天我们要探讨的就是如何实时解析MySQL Binlog,以及其所带来的巨大的业务价值.我可以