mysql之日志和mysqlbinlog工具的使用

查看日志相关的全局变量:
    mysql>SHOW GLOBAL VARIABLES LIKE ‘%log%‘

修改相关变量:
    1.对于开关某个功能,使用SET GLOBAL xxx=xxx即可。
    2.涉及到文件的操作,只能修改配置文件,添加内容到配置文件并重启服务后生效。

错误日志:
    记录内容:
        服务器的启动和关闭产生的信息
        服务器运行过程中的错误信息
        时间调度器上运行一个事件时产生的信息
        在从服务器上启动和关闭从服务器进程时产生的信息

文件位置:
        默认是存放在数据目录,文件名为SERVERHOSTNAME.err的文件。

相关变量:
        log_error 指定错误日志文件
        log_warning 是否记录警告信息,1表示记录。默认为1。

一般查询日志:
    记录内容:
        查询的操作

文件位置:
        默认是存放在数据目录,文件名为SERVERHOSTNAME.log的文件

相关变量:
        general_log  是否启用一般查询日志,默认是OFF。避免记录大量的io。
        general_log_file 指定一般查询日志文件的位置
        log 是否记录所有语句到日志,默认为OFF。mysql5.6已废弃。

log_output 指定一般查询日志和慢查询日志的输出位置,默认是使用TABLE。在编译时会变为FILE。可以使用TABLE表示记录到表中或者NONE表示不记录。TABLE和FILE可以一起使用,用逗号隔开即可。注意此变量优先级高。一旦设定为NONE,即时general_log设定为ON,也不记录。

sql_log_off 控制是否禁止将一般查询日志信息记录进日志文件,默认为OFF。

慢查询日志:
    记录内容:
        查询时间较长的操作

文件位置:
        默认在数据目录名为SERVERHOSTNAME-slow.log。

相关变量:
        long_query_time 指定查询时长阈值,超过此时间都定义为慢查询。注意此长为实际操作执行的时长而不是cpu执行时长。最小值为0,默认为10,单位为秒,支持毫秒级解析度。

slow_query_log 是否启用慢查询日志,日志的输出位置也取决于log_output的设定。

slow_query_log_file 指定慢查询日志文件位置。
        max_long_data_size
        performance_schema_events_waits_history_long_size 收集事件等待历史的长度

二进制日志:
    记录内容:
        记录任何可能引起数据库变化的操作,包括DDL,DML,授权语句等等。使用mysql独有的二进制格式,为复制和即时点恢复提供支持。

二进制日志的格式:
            基于语句:statment
            基于行:row
            混合方式:mixed

文件头+事件...

事件的组成:
                position:上个事件的结束位置和下个事件的开始位置。
                starttime:事件的起始时间
                action:事件的动作。

文件位置:
        使用工具mysqlbinlog查看,一般的文本编辑文件是无法产看的。

二进制日志文件:默认在数据目录以mysql-bin或SERVERHOSTNAME开头,末尾为.bin.00000X的文件。每次重启服务器后日志将进行滚动。保留旧文件,新创建文件。使用SHOW MASTER STATUS可以查看当前正在使用的文件。使用SHOW BINLOG EVENTS in ‘mysql-bin.00000x’ [FROM POSITION] 查看具体内容。日志文件的大小会大于数据的大小,因为里边还记录了其他的额外信息。

索引文件:记录了二进制日志文件的相关信息。默认在数据目录,名字为mysql-bin.index。

建议将二进制日志文件和数据分开存放在不同磁盘,这样既能保证安全性,又能保证日志文件之间不出现竞争io的情况。

也可以执行FLUSH LOGS来手动滚动日志。注意只有二进制和中继日志才是真的滚动,其他日志都是关闭后打开。

使用SHOW BINARY LOGS查看日志

使用PURGE BINARY LOGS TO ‘BINLOGFILE’ 可以删除指定文件之前的日志文件

相关变量:
        binlog_format STATMENT|ROW|MIXED 指定二进制日志文件的格式

log_bin ON|OFF [FILE] 指定二进制日志文件的位置,没有指定FILE默认写在数据文件下,是否启用二进制日志文件功能。在mysql启动时使用 --log-bin=mysql-bin或者是修改配置文件,在[mysqld]中添加log-bin=mysql-bin和binlog_format=mixed。

sql_log_bin ON|OFF 控制是否将日志写入二进制日志文件

binlog_cache_size 缓存大小,跟随binlog_stmt_cache_size大小变化

binlog_stmt_cache_size 语句缓存大小

sync_binlog NUM 设定同步二进制日志到磁盘的时间,0表示不同步,任何正数都表示对二进制每多少次写操作后同步一次。如果autocommit=1,则每条语句的执行都引起同步,否则当事务提交后才引起日志同步。

max_binlong_cache_size 上限值

max_binlog_size

max_binlog_stmt_cache_size 上限值

expire_logs_days DAY 设定日志过期时间为DAY天,过期会被自动删除。默认为0。

中继日志:
    记录内容:
         从主服务器的二进制日志文件中复制而来的事件,本质上也是二进制日志文件。
    文件位置:
        位于从服务器上。
    相关变量:

事务日志:
    记录内容:
        支持事务的引擎上特有,是为了保证事务的ACID特性,将随机io转换为顺序io,提高效率,保证事务不会丢失。

事务ID号+原始数据+新数据
        TID<OLD_VLAUE><NEW_VALUE>

事务只能对表中的内容进行ROLLBACK,对于像DROP TABLE这样的操作是无法回滚的。

文件位置:
        默认为数据目录内,名称为ib_logfileX。建议日志文件和数据文件分开存放,并为日志做镜像

相关变量:
        innodb_flush_log_at_trx_commit 0|1|2 设定启用事务提交后将内存中的日志事件同步到日志文件中,1表示每当有事务提交或磁盘刷新写入,默认值。2表示每当有事务提交就同步。0表示每1秒同步一次,不在内核中缓存,直接写入磁盘。

innodb_log_buffer_size 内存缓存大小
        innodb_log_size  日志文件大小
        innodb_log_files_in_group 日志组中的日志文件个数
        innodb_log_group_home_dir 日志存放位置,默认为数据目录
        innodb_mirrored_log_groups 是否对日志文件组做镜像

innodb_support_xa=TURE|FLASE 是否启用分布式事务,默认是启用的。若在仅有一个线程修改数据的环境下,关闭后此以提高InnoDB的效率。

#mysqlbinlog [OPTION] BINLOGFILE 二进制日至文件查看工具
    [OPTION]
        --start-datetime
        --stop-datetime
        --start-position
        --stop-position

例如:
        #mysqlbinlog /mydata/mdata/mysql-bin.00005

#mysqlbinlog --start-position=177 --stop-position=358 /mydata/mdata/mysql-bin.00005

#mysqlbinlog --start-datetime=‘2015-07-21 19:22:31‘ /mydata/mdata/mysql-bin.00005

#mysqlbinlog /mydata/mdata/mysql-bin.00005 > a.sql 从二进制文件读取内容导出成sql脚本文件。

实例:
    0.开启二进制服务:
        #vim /etc/my.cnf
            [msyqld]
            log_bin=mysql-bin
            binlog_format=MIXED

1.查看所有二进制日志文件:
        mysql>SHOW BINARY LOGS;

2.显示当前正在使用的二进制日志文件:
        mysql>SHOW MASTER STATUS;

3.查看指定二进制日至文件的具体内容:
        mysql>SHOW BINLOG EVENTS in ‘mysql-bin.000005’ FROM POSITION=177;
        或
        #mysqlbinlog /mydata/mdata/mysql-bin.000005

4.手工滚动二进制文件:
        mysql>FLUSH LOGS;
    
    5.删除指定二进制日志文件之前的日志文件
        mysql>PURGE BINARY LOGS TO ‘mysql-bin.00005’;

6.导出二进制日志文件为sql脚本:
        #mysqlbinlog /mydata/mdata/mysql-bin.000005 > a.sql

时间: 2024-08-14 05:52:21

mysql之日志和mysqlbinlog工具的使用的相关文章

mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理

转自:http://www.cnblogs.com/kevingrace/p/6261091.html 在mysql工作中接触最多的就是mysql replication mysql在复制方面还是会有一些常规问题: 比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复, 或者很多时候需要把一个从库提升为主库,但对从库和主库的数据一致性不能保证一样. 这种情况下就需要使用percona-toolkit工具的pt-table-checksum组件来检查主从数据的一致性:如果发现不一致的

使用mysqlbinlog工具进行基于位置或时间点的数据恢复

使用mysqlbinlog工具进行基于位置或时间点的恢复 MySQL备份一般采取全备份加日志备份的方式,比如每天执行一次全备份,每小时执行一次二进制日志备份.这样在MySQL Server故障后可以使用全备份和日志备份将数据恢复到最后一个二进制日志备份前的任意位置或时间.用来进行全备和日志备的工具各种各样,各有其特色,在这里不做描述.本文主要讲解一下在回复完全备份后,如何应用备份的二进制日志来将数据恢复到指定的位置或时间点. 这里有个十分重要的工具--mysqlbinlog,专门用来查看二进制日

mysql慢查日志分析工具 percona-toolkit

备忘自: http://blog.csdn.net/seteor/article/details/24017913 1. 工具简介 pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog.General log.slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析.可以把分析结果输出到文件中,分析过程是先对查询语句的条件进行参数化,然后对参数化以后的查询进行分组统计,统计出各查询的执行时间.次数.占比

MySQL备份--xtrabackup与mysqldump工具使用

MySQL备份----xtrabackup与mysqldump工具的使用 一.Xtrabackup8.0: 一个用于MySQL数据库物理热备的备份工具,支持MySQL.Percona server和MariaDB,开源免费,是目前较为受欢迎的主流备份工具.xtrabackup只能备份innoDB和xtraDB两种数据引擎的表,而不能备份MyISAM数据表. 备份原理: Percona XtraBackup的工作原理是在启动时记住日志序列号(LSN),然后复制数据文件.同时,Percona Xtr

MySQL监控、性能分析——工具篇

MySQL越来越被更多企业接受,随着企业发展,MySQL存储数据日益膨胀,MySQL的性能分析.监控预警.容量扩展议题越来越多.“工欲善其 事,必先利其器”,那么我们如何在进行MySQL性能分析.监控预警.容量扩展问题上得到更好的解决方案,就要利用各种工具来对MySQL各种指标进行分 析.本文是读书笔记,下面提及的工具,读者可能都用过,或打算准备是使用.MySQL服务器的发布包没有包含那些能完成许多常见任务的工具,例如监控服务器的工具.比较服务器间数据的工具.我们把这些工具分成以下几类:界面.监

MySQL数据库恢复(使用mysqlbinlog命令)

MySQL数据库恢复(使用mysqlbinlog命令) 1:开启binlog日志记录 修改mysql配置文件mysql.ini,在[mysqld]节点下添加 复制代码代码如下: # log-bin log-bin = E:/log/logbin.log 路径中不要包含中文和空格.重启mysql服务.通过命令行停止和启动mysql服务 复制代码代码如下: c:\>net stop mysql; c:\>net start mysql; 进入命令行进入mysql并查看二进制日志是否已经启动 Sql

mysql几种性能测试的工具使用

mysql几种性能测试的工具使用 近期由于要比较mysql及其分支mariadb, percona的性能,了解了几个这方面的工具,包括:mysqlslap sysbench tpcc-mysql,做一个整理,备忘,分享 1.mysqlslap 安装:简单,装了mysql就有了 作用:模拟并发测试数据库性能. 优点:简单,容易使用. 不足:不能指定生成的数据规模,测试过程不清楚针对十万级还是百万级数据做的测试,感觉不太适合做综合测试,比较适合针对既有数据库,对单个sql进行优化的测试. 使用方法:

PHP+MYSQL实现全文检索及全文检索工具

使用分词类库,分词类库请参见:http://www.xunsearch.com/scws/ 如何使用PHP实现全文检索功能? 很多人可能马上可以想出几种方案,比如:文件检索法.采用SQL的like语句等方法,但这些方法效率都相当的低. 这里介绍一种比较高效的PHP全文检索实现方法,这就是采用MYSQL的FULLTEXT字段类型.但是MYSQL的FULLTEXT字段对中文的支持不是很好,本文也一并介绍如何通过PHP+MYSQL实现中文全文检索功能. 首先需要用到一个PHP中文分词扩展模块--SCW

mysql几种性能测试的工具

mysql几种性能测试的工具使用 一.mysqlslap 安装:装了mysql就有了 作用:模拟并发测试数据库性能. 优点:简单,容易使用. 不足:不能指定生成的数据规模,测试过程不清楚针对十万级还是百万级数据做的测试,感觉不太适合做综合测试,比较适合针对既有数据库,对单个sql进行优化的测试. 使用方法: 可以使用mysqlslap --help来显示使用方法: Default options are read from the following files in the given ord