MySQL之日志管理

日志

事务日志:transaction log

错误日志:error log

查询日志:query log

慢查询日志:slow query log

二进制日志:binary log

中继日志:reley log

命令日志:~/.mysql_history,记录各自终端输过的mysql命令

事务日志

事务日志:transaction log

事务型存储引擎自行管理和使用

redo log

undo log

Innodb事务日志相关配置:

show variables like '%innodb_log%';

innodb_log_file_size 5242880 每个日志文件大小(建议按生产情况调大,如1G,否则执行大的事务可能会直接提交,无法回滚)

innodb_log_files_in_group 2 日志组成员个数(建议按生产情况调多,如3个)

innodb_log_group_home_dir ./ 事务文件路径(建议事务日志跟数据存放在不同目录中)

中继日志:relay log

主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取到的事件

optimize table tbl_name  整理表,例如进行大量修改|删除操作后,表文件大小并不会减小,执行此命令后可减小

错误日志

错误日志

mysqld启动和关闭过程中输出的事件信息

mysqld运行中产生的错误信息

event scheduler运行一个event时产生的日志信息

在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误日志相关配置

SHOW GLOBAL VARIABLES LIKE 'log_error'

错误文件路径:

log_error=/PATH/TO/LOG_ERROR_FILE

是否记录警告信息至错误日志文件

log_warnings=1|0 默认值1

通用日志

通用日志:记录查询操作

文件:file,默认值

表:table

通用日志相关设置

general_log=ON|OFF(通用日志,谁操作都记录,量会很大,不建议开启)

general_log_file=HOSTNAME.log

log_output=TABLE|FILE|NONE(日志记录在表里/文件里)

慢查询日志

慢查询日志:记录执行查询时长超出指定时长的操作

slow_query_log=ON|OFF 开启或关闭慢查询

long_query_time=N 慢查询的阀值,单位秒

slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件

log_slow_filter = admin,filesort,filesort_on_disk,full_join,

full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk

log_queries_not_using_indexes=ON 不使用索引也没有达到慢查询阀值的语句是否记录日志,默认OFF,即不记录(可以开启,看哪些命令记录得多了可以优化,例如加上索引)

log_slow_rate_limit = 1 多少次查询才记录,mariadb特有

log_slow_verbosity= Query_plan,explain 记录内容

log_slow_queries = OFF 同slow_query_log 新版已废弃

例:

select sleep(1),name from students; 每查一项休眠1秒

再show profile; 查看命令各阶段执行的时间,需先set profiling=1,

二进制日志

记录导致数据改变或潜在导致数据改变的SQL语句

记录已提交的日志

不依赖于存储引擎类型

功能:通过“重放”日志文件中的事件来生成数据副本

注意:建议二进制日志和数据文件分开存放

二进制日志记录格式

二进制日志记录三种格式

基于“语句”记录:statement,记录语句,默认模式

基于“行”记录:row,记录数据,日志量较大(生产中强烈建议基于“行”记录)

混合模式:mixed, 让系统自行判定该基于哪种方式进行

格式配置

show variables like '%binlog_format%';

二进制日志文件的构成

有两类文件

日志文件:mysql|mariadb-bin.文件名后缀,二进制格式

如: mysql-bin.000001

索引文件:mysql|mariadb-bin.index,文本格式

二进制日志相关的服务器变量:

sql_log_bin=ON|OFF:是否记录二进制日志,默认ON(此项可以动态更改,例如硬盘满了想临时不记录日志,可以临时关掉)

log_bin=/PATH/BIN_LOG_FILE:指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可(此项不支持动态更改,需写入配置文件中,需重启服务)

binlog_format=STATEMENT|ROW|MIXED:二进制日志记录的格式,默认STATEMENT(强烈建议改成ROW)

max_binlog_size=1073741824:单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G

说明:文件达到上限时的大小未必为指定的精确值

sync_binlog=1|0:设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘(即时的话效率低,好处是不会丢东西,一般情况0就行)

expire_logs_days=N:二进制日志可以自动删除的天数。 默认为0,即不自动删除(可留个30天)

二进制日志相关配置

查看mariadb自行管理使用中的二进制日志文件列表,及大小

SHOW {BINARY | MASTER} LOGS

查看使用中的二进制日志文件

SHOW MASTER STATUS

查看二进制文件中的指定内容

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]

show binlog events in ‘mysql-bin.000001' from 6516 limit 2,3

mysqlbinlog

mysqlbinlog:二进制日志的客户端命令工具

命令格式:

mysqlbinlog [OPTIONS] log_file…

--start-position=# 指定开始位置

--stop-position=#

--start-datetime=

--stop-datetime=

时间格式:YYYY-MM-DD hh:mm:ss

--base64-output[=name]

示例:

mysqlbinlog --start-position=6787 --stop-position=7527 /var/lib/mysql/mariadb-bin.000003

mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003;

二进制日志事件的格式:

# at 328

#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0 error_code=0

use `mydb`/*!*/;

SET TIMESTAMP=1446712300/*!*/;

CREATE TABLE tb1 (id int, name char(30))

/*!*/;

事件发生的日期和时间:151105 16:31:40

事件发生的服务器标识:server id 1

事件的结束位置:end_log_pos 431

事件的类型:Query

事件发生时所在服务器执行此事件的线程的ID:thread_id=1

语句的时间戳与将其写入二进制文件中的时间差:exec_time=0

错误代码:error_code=0

事件内容:

GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID

清除指定二进制日志:

PURGE { BINARY | MASTER } LOGS

{ TO 'log_name' | BEFORE datetime_expr }

示例:

PURGE BINARY LOGS TO ‘mariadb-bin.000003’;删除3前日志

PURGE BINARY LOGS BEFORE '2017-01-23';

PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

 

删除所有二进制日志,index文件重新记数

RESET MASTER [TO #]; 日志文件从#开始记数,默认从1开始,一般是master第一次启动时执行,MariaDB10.1.6开始支持TO #

 

切换二进制日志文件:

FLUSH LOGS;

原文地址:http://blog.51cto.com/13695854/2134637

时间: 2024-11-21 02:53:55

MySQL之日志管理的相关文章

MySQl Study学习之--MySQl二进制日志管理

MySQl Study学习之--MySQl二进制日志管理 MySQL二进制日志(Binary Log):   a.它包含的内容及作用如下:    包含了所有更新了数据或者已经潜在更新了数据(比如没有匹配任何行的一个DELETE)    包含关于每个更新数据库(DML)的语句的执行时间信息    不包含没有修改任何数据的语句,如果需要启用该选项,需要开启通用日志功能    主要目的是尽可能的将数据库恢复到数据库故障点,因为二进制日志包含备份后进行的所有更新    用于在主复制服务器上记录所有将发送

Mysql学习之--Mysql二进制日志管理

Mysql学习之--Mysql二进制日志管理 简介:     MySQL的二进制日志可以说或是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是失误安全型的.      MySQL的二进制日志的作用是显而易见的,可以方便的备份这些日志以便做数据恢复,也可以作为主从复制的同步文件,然而二进制日志的大小可能会根据不同的需求而存在麻烦,所以让日志回滚是必须的,当然MySQL已经为我们提供了二进制回滚的功

MySQL——innodb日志管理

innodb日志管理机制: 1.innodb存储引擎是支持事务ACID特性的,这个理论基本就是一个关系型数据库相关的数据恢复原形设计,包括日志.回滚.redo.并发控制.buffer pool等管理方面,内容非常全面: 2.innodb的buffer pool主要用来存储访问过的数据页面,他就是一块连续的内存,通过一定的算法可以使这块内存得到有效的管理,它是数据库系统中拥有最大块内存的系统模块. innodb存储引擎中数据的访问是按照页(也可以叫块,默认为16KB)的方式从数据库文件读取到buf

MySQL InnoDB 日志管理机制中的MTR和日志刷盘

1.MTR(mini-transaction) 在MySQL的 InnoDB日志管理机制中,有一个很重要的概念就是MTR.MTR是InnoDB存储擎中一个很重要的用来保证物理写的完整性和持久性的机制. 先看下MTR在MysQL架构中的位置. MTR是上面的逻辑层与下面物理层的交互窗口,同时也是用来保证下层物理数据正确性.完整性及持久性的机制. 2.日志刷盘的触发条件 触发条件 描述 时间 线程默认每秒刷新一次. 空间 Log Buffer空间用完了 Check Point checkPoint的

MySQL之日志管理(一)

MySQL的日志有以下六种: 错误日志:服务器启动.关闭.运行中产生的错误信息.及event(事件调度)运行一个事件时产生的信息.及从服务器上启动和关闭从服务器进程时产生的信息. 一般查询日志:general_log.general_log_file. 慢查询日志:查询时间超过指定的查询时间的记录 二进制日志:任何引起或者可能引起数据变化的操作都要记录进二进制日志(DDL.DML.DCL语句):二进制日志又叫做几十点还原,可在server崩溃后将数据还原到崩溃的那一刻. 中继日志:中继日志就是从

关系型数据库之Mysql二进制日志管理(四)

MySQL二进制日志(Binary Log)1.它包含的内容及作用如下:包含了所有更新了数据或者已经潜在更新了数据(比如没有匹配任何行的一个DELETE)包含关于每个更新数据库(DML)的语句的执行时间信息不包含没有修改任何数据的语句,如果需要启用该选项,需要开启通用日志功能主要目的是尽可能的将数据库恢复到数据库故障点,因为二进制日志包含备份后进行的所有更新用于在主复制服务器上记录所有将发送给从服务器的语句启用该选项数据库性能降低1%,但保障数据库完整性,对于重要数据库值得以性能换完整.有些类似

mysql的日志管理

日志操作是数据库维护中最重要的手段之一,日志文件会记录MySQL服务器的各种信息,所以当MySQL服务器遭到意外损坏时,不仅可以通过日志文件来查看出错的原因,而且还可以通过日志文件进行数据恢复. MYSQL的日志文件分为二进制日志,错误日志,通用查询日志,慢查询日志.除了二进制文件外,其他日志文件都是文本文件.默认情况下,MySQL只会启动错误日志文件,而其他日志文件则需要手动启动才可以被启动. 二进制日志:该日志文件会以二进制形式记录数据库的各种操作,但是不记录查询语句. 错误日志:该日志文件

mysql慢日志管理

一.日志切割 原理: 1.cp一个慢日志备份 2.清空原理的慢日志 3.写成脚本,每天一切,这样就ok啦 二.查找日志中的慢日志 1.做了日志切割(慢日志文件就小了) 2.查找某个时间的慢日志 日志时间格式: # Time: 161102  3:50:14 用grep过滤: grep -A15  "Time: 161102  3:50:14"  mysql_slow_query.log 慢日志格式: # Time: 161102 3:50:14# [email protected]:

Mysql数据库理论基础之十一 ---- 日志管理

一.简介 由MySQL AB公司开发,是最流行的开放源码SQL数据库管理系统,主要特点: 1.是一种数据库管理系统 2.是一种关联数据库管理系统 3.是一种开放源码软件,且有大量可用的共享MySQL软件 4.MySQL数据库服务器具有快速.可靠和易于使用的特点 5.MySQL服务器工作在客户端/服务器模式下,或嵌入式系统中 InnoDB存储引擎将InnoDB表保存在一个表空间内,该表空间可由数个文件创建.这样,表的大小就能超过单独文件的最大容量.表空间可包括原始磁盘分区,从而使得很大的表成为可能