第八章· MySQL日志管理

一.MySQL日志简介

?

二.错误日志

1.作用：

记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。

2.默认位置：

$MYSQL_HOME/data/

3.开启方式:（MySQL安装完后默认开启)

#编辑配置文件
[[email protected] ~]# vim /etc/my.cnf
[mysqld]
log_error=/application/mysql/data/$hostname.err
#查看方式
mysql> show variables like 'log_error';

三.一般查询日志

1.作用：

记录mysql所有执行成功的SQL语句信息，可以做审计用，但是我们很少开启。

2.默认位置：

$MYSQL_HOME/data/

3.开启方式:（MySQL安装完之后默认不开启）

#编辑配置文件
[[email protected] ~]# vim /etc/my.cnf
[mysqld]
general_log=on
general_log_file=/application/mysql/data/$hostnamel.log
#查看方式
mysql> show variables like '%gen%';

四.二进制日志

?

1.作用：

记录已提交的DML事务语句，并拆分为多个事件（event）来进行记录
记录所有DDL、DCL等语句
总之，二进制日志会记录所有对数据库发生修改的操作

2.二进制日志模式:

statement：语句模式，上图中将update语句进行记录（默认模式）。
row：行模式，即数据行的变化过程，上图中Age=19修改成Age=20的过程事件。
mixed：以上两者的混合模式。
企业推荐使用row模式

3.优缺点:

  • statement模式：
    优点：简单明了，容易被看懂，就是sql语句，记录时不需要太多的磁盘空间。
    缺点：记录不够严谨。
  • row模式：
    优点：记录更加严谨。
    缺点：有可能会需要更多的磁盘空间，不太容易被读懂。

binlog的作用:

1）如果我拥有数据库搭建开始所有的二进制日志，那么我可以把数据恢复到任意时刻
2）数据的备份恢复
3）数据的复制

4.二进制日志的管理操作实战

开启方式

[[email protected] data]# vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format=row

注意:在mysql5.7中开启binlog必须要加上server-id。

[[email protected] data]# vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format=row
server_id=1

5.二进制日志的操作

#物理查看
[[email protected] data]# ll /application/mysql/data/
-rw-rw---- 1 mysql mysql      285 Mar  6  2017 mysql-bin.000001
#命令行查看
mysql> show binary logs;
mysql> show master status;
#查看binlog事件
mysql> show binlog events in 'mysql-bin.000007';

6.事件介绍

1）在binlog中最小的记录单元为event
2）一个事务会被拆分成多个事件（event）

7.事件（event）特性

1）每个event都有一个开始位置（start position）和结束位置（stop position）。
2）所谓的位置就是event对整个二进制的文件的相对位置。
3）对于一个二进制日志中，前120个position是文件格式信息预留空间。
4）MySQL第一个记录的事件，都是从120开始的。

8.row模式下二进制日志分析及数据恢复

#查看binlog信息
mysql> show master status;
#创建一个binlog库
mysql> create database binlog;
#使用binlog库
mysql> use binlog
#创建binglog_table表
mysql> create table binlog_table(id int);
#查看binlog信息
mysql> show master status;
#插入数据1
mysql> insert into binlog_table values(1);
#查看binlog信息
mysql> show master status;
#提交
mysql> commit;
#查看binlog信息
mysql> show master status;
#插入数据2
mysql> insert into binlog_table values(2);
#插入数据3
mysql> insert into binlog_table values(3);
#查看binlog信息
mysql> show master status;
#提交
mysql> commit;
#删除数据1
mysql> delete from binlog_table where id=1;
#查看binlog信息
mysql> show master status;
#提交
mysql> commit;
#更改数据2为22
mysql> update binlog_table set id=22 where id=2;
#查看binlog
mysql> show master status;
#提交
mysql> commit;
#查看binlog信息
mysql> show master status;
#查看数据
mysql> select * from binlog_table;
#删表
mysql> drop table binlog_table;
#删库
mysql> drop database binlog;

9.恢复数据到delete之前

#查看binlog事件
mysql> show binlog events in 'mysql-bin.000013';
#使用mysqlbinlog来查看
[[email protected] data]# mysqlbinlog /application/mysql/data/mysql-bin.000013
[[email protected] data]# mysqlbinlog /application/mysql/data/mysql-bin.000013|grep -v SET
[[email protected] data]# mysqlbinlog --base64-output=decode-rows -vvv mysql-bin.000013
### UPDATE `binlog`.`binlog_table`
### WHERE
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
### SET
###   @1=22 /* INT meta=0 nullable=1 is_null=0 */
#分析
update binlog.binlog_table
set
@1=22 --------->@1表示binlog_table中的第一列,集合表结构就是id=22
where
@1=2  --------->@1表示binlog_table中的第一列,集合表结构就是id=2
#结果
update binlog.binlog_table set id=22 where id=2;
#截取二进制日志
查看二进制日志后，发现delete语句开始位置是858
[[email protected] data]# mysqlbinlog --start-position=120 --stop-position=858 /application/mysql/data/mysql-bin.000013
#临时关闭binlog
mysql> set sql_log_bin=0;
#执行sql文件
mysql> source /tmp/binlog.sql
#查看删除的库
mysql> show databases;
#进binlog库
mysql> use binlog
#查看删除的表
mysql> show tables;
#查看表中内容
mysql> select * from binlog_table;

10.思考，存在问题：

数据库或表被误删除的是很久之前创建的（一年前）

如果基于binlog全量恢复，成本很高
1）可以用备份恢复+短时间内二进制日志，恢复到故障之前
2）非官方方法，binlog2sql，binlog取反，类似于Oracle的flushback
3）延时从库 如果同一时间内和故障库无关的数据库都有操作，在截取binlog时都会被截取到

想一个办法过滤出来？
1）grep？

其他过滤方案？
1）-d 参数接库名

11.模拟数据

#为了让大家更清晰看到新的操作
#刷新一个新的binlog
mysql> flush logs;
#创建db1、db2两个库
mysql> create database db1;
mysql> create database db2;

#库db1操作
mysql> use db1
#创建t1表
mysql> create table t1(id int);
#插入5条数据
mysql> insert into t1 values(1),(2),(3),(4),(5);
#提交
mysql> commit;

#库db2操作
mysql> use db2
#创建t2表
mysql> create table t2(id int);
#插入3条数据
mysql> insert into t2 values(1),(2),(3);
#提交
mysql> commit;

#查看binlog事件
mysql> show binlog events in 'mysql-bin.000014';
#查看db1的操作
[[email protected] data]# mysqlbinlog -d db1 --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000014

12.删除、刷新binlog

刷新binlog日志

1）flush logs;
2）重启数据库时会刷新
3）二进制日志上限（max_binlog_size）

删除二进制日志

1）原则
在存储能力范围内，能多保留则多保留
基于上一次全备前的可以选择删除

13.删除方式

1.根据存在时间删除日志

#临时生效
SET GLOBAL expire_logs_days = 7;
#永久生效
[[email protected] data]# vim /etc/my.cnf
[mysqld]
expire_logs_days = 7

2.使用purge命令删除

PURGE BINARY LOGS BEFORE now() - INTERVAL 3 day;

3.根据文件名删除

PURGE BINARY LOGS TO 'mysql-bin.000010';

4.使用reset master

mysql> reset master;

五.慢查询日志

1.作用：

1）是将mysql服务器中影响数据库性能的相关SQL语句记录到日志文件
2）通过对这些特殊的SQL语句分析，改进以达到提高数据库性能的目的

2.默认位置：

$MYSQL_HOME/data/$hostname-slow.log

3.开启方式（默认没有开启）：

[[email protected] ~]# vim /etc/my.cnf
[mysqld]
#指定是否开启慢查询日志
slow_query_log = 1
#指定慢日志文件存放位置（默认在data）
slow_query_log_file=/application/mysql/data/slow.log
#设定慢查询的阀值(默认10s)
long_query_time=0.05
#不使用索引的慢查询日志是否记录到索引
log_queries_not_using_indexes
#查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
min_examined_row_limit=100（鸡肋）

4.模拟慢查询语句

#进入world库
mysql> use world
#查看表
mysql> show tables
#将city表中所有内容加到t1表中
mysql> create table t1 select * from city;
#查看t1的表结构
mysql> desc t1;
#将t1表所有内容插入到t1表中（多插入几次）
mysql> insert into t1 select * from t1;
mysql> insert into t1 select * from t1;
mysql> insert into t1 select * from t1;
mysql> insert into t1 select * from t1;
#提交
mysql> commit;
#删除t1表中id>2000的数据
mysql> delete from t1 where id>2000;
#查看慢日志
[[email protected] ~]# cat /application/mysql/data/mysql-db01

5.使用mysqldumpslow命令来分析慢查询日志

#输出记录次数最多的10条SQL语句?$PATH/mysqldumpslow -s c -t 10 /database/mysql/slow-log

参数说明:
-s:
是表示按照何种方式排序，c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序，ac、at、al、ar，表示相应的倒叙；
-t:
是top n的意思，即为返回前面多少条的数据；
-g:
后边可以写一个正则匹配模式，大小写不敏感的；

6.例：

#得到返回记录集最多的10个查询
$PATH/mysqldumpslow -s r -t 10 /database/mysql/slow-log?#得到按照时间排序的前10条里面含有左连接的查询语句?$PATH/mysqldumpslow -s t -t 10 -g “left join”/database/mysql/slow-log

7.第三方推荐（扩展）：

yum install -y percona-toolkit-3.0.11-1.el6.x86_64.rpm

使用percona公司提供的pt-query-digest工具分析慢查询日志

[[email protected] ~]# pt-query-digest /application/mysql/data/mysql-db01-slow.log

有能力的可以做成可视化界面：
Anemometer基于pt-query-digest将MySQL慢查询可视化
httpss://www.percona.com/downloads/percona-toolkit/LATEST/ 慢日志分析工具下载
httpss://github.com/box/Anemometer 可视化代码下载
?

原文地址：https://www.cnblogs.com/Forever-x/p/10994927.html

时间： 2024-08-04 01:26:34

第八章· MySQL日志管理的相关文章

Linux命令：MySQL系列之十一--MySQL日志管理

MySQL日志管理 SHOW GLOBAL VARIABLES LIKE '%log%':查看关于log的全局变量 一.日志分类 1.错误日志   2.一般查询日志   3.慢查询日志 4.二进制日志  5.中继日志   6.事务日志   7.滚动日志 二.日志详解 1.错误日志 说明:在对应的数据目录中,以主机名+.err命名的文件,错误日志记录的信息类型: 记录了服务器运行中产生的错误信息 记录了服务在启动和停止是所产生的信息 在从服务器上如果启动了复制进程的时候,复制进程的信息也会被记录

MySql Study之--MySql日志管理

MySql Study之--MySql日志管理 一.日志文件类型 MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情: 日志文件 日志文件信息内容 错误日志 记录启动.运行或停止mysqld时出现的问题.(log_err) 查询日志 记录建立的客户端连接和执行的语句. 更新日志 记录更改数据的语句,不赞成使用该日志. 二进制日志 记录所有更改数据的语句.还用于复制.(bin_log) 慢日志 记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询.

MySQL 日志管理(一）

一.MySQL的日志查看: QL的初期,需要熟练掌握sql语句的运用,最简单的方式就是多练习多运用,但是好需要有一定的目的性,什么意思呢? 就是每个人的习惯不一样,可能容易犯的错误也不同,所以需要总结自己的常犯错误,有针对性的弥补,这样就会对MySQL的学习和掌握起到事半功倍的效果.今天就说几种记录MySQL操作的几种日志: #错误日志     log-error #查询日志     log #二进制日志  log-bin #慢日志  log-slow-queries #更新日志 log-upd

数据库 | MySQL日志管理

MySQL日志管理4 一.错误日志 作用: 记录mysql数据库的一般状态信息及报错信息,是我们对于数据库常规报错处理的常用日志. 默认位置: $MYSQL_HOME/data/ 开启方式:(MySQL安装完后默认开启) #编辑配置文件[[email protected] ~]# vim /etc/my.cnf[mysqld]log_error=/application/mysql/data/$hostname.err#查看方式mysql> show variables like 'log_er

mysql日志管理

                            学习MYsql日志(一)       错误日志:       服务器启动和关闭过程中的信息 服务器运行过程中产生的错误信息 事件调度器运行一个事件时产生的(event)信息 在从服务器上启动或关闭从服务器进程时产生的信息 警告日志也会产生在错误日志(log_warnings) 一般查询日志: general_log general_log_file log log_output FILE 意思是指定文件中,还有两个值(log_output=

MySQL 日志管理

一.MySQL 日志 日志是mysql数据库的重要组成部分.日志文件中记录着mysql数据库运行期间发生的变化:也就是说用来记录mysql数据库的客户端连接状况.SQL语句的执行情况和错误信息等.当数据库遭到意外的损坏时,可以通过日志查看文件出错的原因,并且可以通过日志文件进行数据恢复. MySQL 日志类型: 主要包含:错误日志.查询日志.慢查询日志.事务日志.二进制日志: 错误日志 一般查询日志: DML, SELECT, 对于非常繁忙的数据库,会产生大量的日志 慢查询日志:执行时间很慢的查

mysql日志管理笔记

1.错误日志: log_error  #错误日志 log_warnings  #警告信息也要记录到错误日志中:0:表示不记录:1表示记录 log_error=/PATH/TO/ERROR_LOG_FILENAME 定义错误日志文件.作用范围为全局或会话级别,可用于配置文件,属非动态变量. log_warnings=# 设定是否将警告信息记录进错误日志.默认设定为1,表示启用:可以将其设置为0以禁用:而其值为大于1的数值时表示将新发起连接时产生的"失败的连接"和"拒绝访问&qu

Mysql 日志管理详解

日志对于服务器维护来说是非常重要的,它记录了服务器运行的信息,许多操作都会写入到日志文件,通过日志文件可以了解服务器的运行状态.服务器性能等:对维护人员进行排错,故障处理,优化等提供详细的依据.MySQL中有六种不同类型的日志 一.日志种类 1.错误日志:记录mysql启动,运行或停止时出现的问题信息,一般也会记录警告信息 2.一般查询日志:记录与建立的客户端连接和执行的语句 3.慢查询日志:记录所有执行时间超高long_query_time 的所有查询或不使用索引的查询,可以帮助我们定位服务器

linux下mysql日志管理及mysql备份还原

1.SHOW GLOBAL VARIABLES LIKE '%log%';  显示所有日志相关的选项 2.错误日志:log_error和log_warnings 3.一般查询日志:general_log general_log_file log log_output 4.慢查询日志:long_query_time log_slow_queries={YES|NO} slow_query_log low_query_log_file 5.二进制日志:任何引起或可能引起数据库变化的操作:复制和即时点