redis的慢查询日志

慢查询日志

记录最新的N条执行时间超过M毫秒的命令。慢查询日志保存在内存中,而不是文件中,这保证了慢查询日志的效率。

慢查询日志的条目定义

/* This structure defines an entry inside the slow log list */

/*

* 慢查询日志

*/

typedef struct slowlogEntry {

// 命令与命令参数

robj **argv;

// 命令与命令参数的数量

int argc;

// 唯一标识符

long long id;       /* Unique entry identifier. */

// 执行命令消耗的时间,以微秒为单位

// 注释里说的 nanoseconds 是错误的

long long duration; /* Time spent by the query, in nanoseconds. */

// 命令执行时的时间,格式为 UNIX 时间戳

time_t time;        /* Unix time at which the query was executed. */

} slowlogEntry;


服务器和慢查询有关的定义

/* slowlog */

// 保存了所有慢查询日志的链表

list *slowlog;                  /* SLOWLOG list of commands */

// 下一条慢查询日志的 ID

long long slowlog_entry_id;     /* SLOWLOG current entry ID */

// 服务器配置 slowlog-log-slower-than 选项的值

long long slowlog_log_slower_than; /* SLOWLOG time limit (to get logged) */

// 服务器配置 slowlog-max-len 选项的值

unsigned long slowlog_max_len;     /* SLOWLOG max number of items logged */

服务器的慢查询存储在一个list中,list中的每一项都是一条慢查询日志,较新的日志总是保存在队首。慢查询日志中保存命令的执行参数和执行时间,如果超出系统限制,参数和日志可能被截断。


慢查询支持的客户端操作

GET:获取某条或者全部慢查询日志

RESET:清空慢查询日志

LEN:慢查询日志的数量


慢查询日志的应用

redis每执行一条命令,就会记录命令的开始时间和结束时间,由此计算命令的执行时间。并发命令以及命令的执行时间传递给slowlogPushEntryIfNeeded,由slowlogPushEntryIfNeeded决定是否生成慢查询日志。

/* Call() is the core of Redis execution of a command */

// 调用命令的实现函数,执行命令

void call(redisClient *c, int flags)

{

//获取命令的执行时间

/* Log the command into the Slow log if needed, and populate the

* per-command statistics that we show in INFO commandstats. */

// 如果有需要,将命令放到 SLOWLOG 里面

if (flags & REDIS_CALL_SLOWLOG && c->cmd->proc != execCommand)

slowlogPushEntryIfNeeded(c->argv,c->argc,duration);

}


slowlogPushEntryIfNeeded的实现

判断系统标志位,并把慢查询日志加入到服务器的慢查询链表中

/* Push a new entry into the slow log.

*

* 如果参数 duration 超过服务器设置的上限时间,

* 那么将一个新条目以 FIFO 顺序推入到慢查询日志中。

*

* This function will make sure to trim the slow log accordingly to the

* configured max length.

*

* 根据服务器设置的最大日志长度,可能会对日志进行截断(trim)

*/

void slowlogPushEntryIfNeeded(robj **argv, int argc, long long duration) {

// 慢查询功能未开启,直接返回

if (server.slowlog_log_slower_than < 0) return; /* Slowlog disabled */

// 如果执行时间超过服务器设置的上限,那么将命令添加到慢查询日志

if (duration >= server.slowlog_log_slower_than)

// 新日志添加到链表表头

listAddNodeHead(server.slowlog,slowlogCreateEntry(argv,argc,duration));

/* Remove old entries if needed. */

// 如果日志数量过多,那么进行删除

while (listLength(server.slowlog) > server.slowlog_max_len)

listDelNode(server.slowlog,listLast(server.slowlog));

}

时间: 2024-07-30 07:04:28

redis的慢查询日志的相关文章

redis设置慢查询日志

Redis 的慢查询日志功能用于记录执行时间超过给定时长的命令请求, 用户可以通过这个功能产生的日志来监视和优化查询速度. 1.redis生命周期 慢查询发生在第3阶段 2.两个配置 2.1.slowlog-max-len    选项指定服务器最多保存多少条慢查询日志. 服务器使用先进先出的方式保存多条慢查询日志: 当服务器储存的慢查询日志数量等于 slowlog-max-len 选项的值时, 服务器在添加一条新的慢查询日志之前, 会先将最旧的一条慢查询日志删除. 2.2 slowlog-log

浅谈Redis之慢查询日志

首先我们需要知道redis的慢查询日志有什么用?日常在使用redis的时候为什么要用慢查询日志? 第一个问题: 慢查询日志是为了记录执行时间超过给定时长的redis命令请求 第二个问题: 让使用者更好地监视和找出在业务中一些慢redis操作,找到更好的优化方法 在Redis中,关于慢查询有两个设置--慢查询最大超时时间和慢查询最大日志数. 1. 可以通过修改配置文件或者直接在交互模式下输入以下命令来设置慢查询的时间限制,当超过这个时间,查询的记录就会加入到日志文件中. CONFIG  SET 

redis 慢查询日志

1.什么是slowlog Slow log 是 Redis 用来记录查询执行时间的日志系统. 查询执行时间指的是不包括像客户端响应(talking).发送回复等 IO 操作,而单单是执行一个查询命令所耗费的时间. 另外,slow log 保存在内存里面,读写速度非常快,因此你可以放心地使用它,不必担心因为开启 slow log 而损害 Redis 的速度. 2.查看慢查询日志参数 127.0.0.1:6379> config get slowlog* 1) "slowlog-log-slo

Redis慢查询日志 PHP中使用redis – 安装扩展模块

Redis慢查询日志编辑配置文件/etc/redis.conf针对慢查询日志,可以设置两个参数,一个是执行时长,单位是微秒,另一个是慢查询日志的长度.当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除. slowlog-log-slower-than 1000 //单位ms,表示慢于1000ms则记录日志slowlog-max-len 128 //定义日志长度,表示最多存128条slowlog get //列出所有的慢查询日志slowlog get 2 //只列出2条slowlog

redis慢查询日志、php安装redis扩展、redis存储session、redis主从配置

一:redis慢查询日志 编辑配置文件/etc/redis.conf针对慢查询日志,可以设置两个参数,一个是执行时长,单位是微秒,另一个是慢查询日志的长度.当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除. slowlog-log-slower-than 1000 //单位ms,表示慢于1000ms则记录日志slowlog-max-len 128 //定义日志长度,表示最多存128条slowlog get //列出所有的慢查询日志slowlog get 2 //只列出2条slowl

MySql存储引擎+表解压缩机制+索引+查询缓存机制+慢查询日志

一.大型网站优化之MySql优化 1.优化和不优化的对比的 在业界当中我们有一个叫大数据(big data)的概念,所谓的大数据指代千万级别以上的数据作为起步的数据.所以我们现在需要对两张都具有50331650条记录的表进行查询对比,其中表名为tbl_no的表是没有做过任何优化手段的表,表名为tbl_yes的表是做过优化手段的表.这个实验的目的是观察具有优化手段和不具有优化手段的查询中速度的差别. 实验条件: 1)两张表的数据记录总数是相同的 2)两张表的数据字段结构也是一样的 3)查询的记录的

logstash收集MySQL慢查询日志

#此处以收集mysql慢查询日志为准,根据文件名不同添加不同的字段值input { file { path => "/data/order-slave-slow.log" type => "mysql-slow-log" start_position => "beginning" codec => multiline { pattern => "^# [email protected]:" neg

Elasticsearch慢查询日志分析

目前架构: n台filebeat客户端来将每台应用上的日志传到kafka,3台kafka做集群用于日志队列,四台ES做集群,前两台存放近两天热数据日志,后两台存放两天前的历史日志,数据保存一个月,目前总数据量6T.logstash与kibana与ES在一台机器上,kibana访问域名三个kibana做轮询, 目前ELK中发现有些索引查询有点慢,于是打开ES索引查询日志来记录慢查询,进而对慢查询日志进行分析,定位问题.慢日志内容如下: [2017-08-28T11:21:02,377][WARN 

Mysql慢查询日志脚本

#!/bin/bash LOG=/diskb/mysql/slowlog/   #定义日志存储路径 DATE=`date +"%Y-%m-%d"`   #定义时间参数 user=root                                 #填写MySQL账户信息 passwd=123456 mysql -u$user -p$passwd -e "set global slow_query_log=0" #停止mysql慢查询日志 mysql -u$us