(转)MyISAM Key Cache详解及优化

原文:http://huanghualiang.blog.51cto.com/6782683/1372721

一、MyISAM Key Cache详解:

为了最小化磁盘I/O,MyISAM将最频繁访问的索引块(“indexblock”)都放在内存中,这样的内存缓冲区我们称之为Key Cache,它的大小可以通过参数key_buffer_size来控制。在MyISAM的索引文件中(MYI),连续的单元(contiguous unit)组成一个Block,Index block的大小等于该BTree索引节点的大小。Key Cache就是以Block为单位的。

1. MyISAM如何使用Key Cache

当MySQL请求(读或写)MyISAM索引文件中某个IndexBlock时,首先会看Key Cache队列中是否已经缓存了对应block。如果有,就直接在Key Cache队列中进行读写了,不再需要请求磁盘。如果是写请求,那么Key Cache中的对应Block就会被标记为Dirty(和磁盘不一致)。在MyISAM在Key Cache成功请求(读写)某个Block后,会将该Block放到Key Cache队列的头部。

如果Key Cache中没有待请求(读或写)的Block,MyISAM会向磁盘请求对应的Block,并将其放到KeyCache的队列头部。队列如果满了,会将队列尾部的Block删除,该Block如果是Dirty的,会将其Flush到磁盘上。我们看到MyISAM维护了一个LRU(Least Recently Used)的Key Cache队列。队列中的Dirty Block会在Block被踢出队列时Flush到磁盘上。

2. 并发访问

Key Cache中的index Block是可以被并发访问的(Shared access ),下面是一些规则:

a.多个没有更新操作的session可以并发同一个block buffer

b.多个session同时访问某一个block buffer,如果某个session是update操作,则优先访问

c.多个session如果都需要进行block replacement,是可以并发操作。(从index file中读取block更新到key cache,但是key cache已满,需要删除一些block buffer的操作叫做block replacement)

设置多key buffer

set global hot.key_buffer_size=xx; #hot、cold 是key buffer的名字,可随意取

set global colkd.key_buffer_size=xx;

CACHE INDEX example.top_message IN  hot_cache

CACHE INDEX example.event IN cold_cache

LOAD INDEX INTO CACHEexample.top_message,example.event IGNORE LEAVES; #预加载,可以放在配制文件中,启动后数据库key buffer命中率会提升.

LOAD INDEX INTO CACHE example.user IGNORELEAVERS,expamle.groups

二、MySQL管理key buffer算法:

MySQL默认使用LRU算法(因默认key_cache_division_limit= 100,只有一个chain,不使用“中点插入算法”。

Key Cache的LRU算法,作为对LRU算法的改进,MyISAM还提供了另一个缓存算法:“MidpointInsertion Strategy”。

Midpoint Insertion Strategy(中点插入算法)-将LRU链分成hot子表warm子表。

1. 相关参数

该策略涉及的参数有:key_cache_division_limit、key_cache_age_threshold

key_cache_division_limit=70  --  %30的缓存做hot

key_cache_age_threshold:Hotsub-chain中的顶部的block停留时间超过一个阈值后就会被降级到warm sub-chain。具体的计算方法是:设N为key cache中的block个数,如果在最近的N*key_cache_age_threshold/100次访问中,keycache顶部的block仍然没有被访问到,那么就会被移到warmsub-chain的顶部。

2. 原理介绍

(1).该策略将前面的LRU队列(LRU Chain)分成两部分,hot sub-chain和warm sub-chain。并根据参数key_cache_division_limit划分,总保持warm sub-chain在这个百分比以上。默认情况key_cache_division_limit是100,所以默认时候只有warmsub-chain,即LRU Chain。

(注:Multiple Key cache情况,每个key cache都有对应的key_cache_division_limit值)

(2).在warm sub-chain中的某个block如果被访问(Access)次数超过某个值时候,就将该block放到hot sub-chain的底部。

(3).在hot sub-chain中的block会随着每一次的hit调整位置,hit越多,越接近底部。在顶部停留时间过长就会被降级到warm sub-chain中,而且是warm sub-chain的顶部(很可能很快就会被移出key cache)。

(4).Hot sub-chain中的顶部的block停留时间超过一个阈值后就会被降级到warm sub-chain。这个阈值由参数key_cache_age_threshold决定。具体的计算方法是:设N为key cache中的block个数,如果在最近的(N*key_cache_age_threshold/100)次访问中,keycache顶部的block仍然没有被访问到,那么就会被移到warm sub-chain的顶部。

(5).默认情况key_cache_division_limit = 100,这时只有只有一个Chain,所以不使用该策略。即退化的Midpoint Insertion Strategy是LRU算法。

*key buffer一些参数指标:

物理读:key_read/key_read_requests一般要应小于0.01,否则key buffer设置小了。

key_writes/key_write_requests #看写多不多,若很多接近1

使用率:1-((key_block_unused*key_cache_block_size)/key_buffer_size) # 一般在80%左右比较优,大于80%,可能是keybuffer设置过小,小于80% 可能是key buffer设置过大,导致内存资源浪费。

时间: 2024-11-05 20:49:00

(转)MyISAM Key Cache详解及优化的相关文章

Android Preference存储、res/raw、asset、openFileOutput、sdcard存储、Cache详解

*res/raw.assets.其它存储的相同点: 两者目录下的文件在打包后会原封不动的保存在apk包中,不会被编译成二进制. 两者都是只读,是不能存储数据的目录. 相同都可以放文件. *res/raw.assets.其它存储的不同点: res/raw中的文件会被映射到R.java文件中,访问的时候直接使用资源ID即R.id.filename:assets文件夹下的文件不会被映射到R.java中,访问的时候需要AssetManager类. res/raw不可以有目录结构,而assets则可以有目

Mysql 配置参数详解以及优化配置

mysql有以下几种日志: 错误日志:   log-err 查询日志:   log 慢查询日志:  log-slow-queries 更新日志:   log-update 二进制日志: log-bin 要把日志生成在 /var/log 目录下(是系统日志存放的地方,只有 root 账号有写权限),需要 MySQL进程对这个目录有读写权限,一般是不这么做的,也考虑到安全问题,包括 MySQL 本身的数据安全,因为对 MySQL 的所有操作,都会记录到常规查询日志.MySQL的日志就不要用 /var

Oracle之外键(Foreign Key)用法详解(一)

Oracle外键(Foreign Key)用法详解(一) 1.目标 演示如何在Oracle数据库中使用外键 2.什么是外键? 1)在Oracle数据库中,外键是用来实现参照完整性的方法之一.打个形象的比喻,外键是指定义外键的表的列的值必须在另一个表中出现. 2)被参照的表称之为父表(parent table),创建外键的表称之为子表(child table).子表中的外键关联了父表中的主键. 3)外键可以在创建表时定义或者通过ALTER TABLE语句创建. 3.创建表时定义外键 语法: CRE

使用Free命令查看Linux服务器内存使用状况(-/+ buffers/cache详解)

free命令可选参数 -b,-k,-m,-g show output in bytes, KB, MB, or GB -h human readable output (automatic unit scaling) -l show detailed low and high memory statistics -o use old format (no -/+buffers/cache line) -t display total for RAM + swap -s update every

Apache常用目录详解、配置文件详解及优化、配置文件权限详解

Apache常用目录详解 1)? /etc/httpd/conf/httpd.conf???(Apache的主配文件) httpd.conf是Apache的主配文件,整个Apache也不过就是这个配置文件,里面几乎包含了所有的配置.有的distribution都将这个文件拆分成数个小文件分别管理不同的参数.但是主要配置文件还是以这个文件为主.只要找到这个文件名就知道如何设置了.后面会详细解释Apache主配文件的每一行配置 2) /etc/httpd/conf.d/*.conf ?( ?(inc

Tomcat记录-tomcat常用配置详解和优化方法

常用配置详解 1 目录结构 /bin:脚本文件目录. /common/lib:存放所有web项目都可以访问的公共jar包(使用Common类加载器加载). /conf:存放配置文件,最重要的是server.xml. /logs:存放日志文件. /server/webapps:来管理Tomcat-web服务用的.仅对TOMCAT可见,对所有的WEB APP都不可见(使用Catalina类加载器加载). /shared/lib:仅对所有WEB APP可见,对TOMCAT不可见(使用Shared类加载

tomcat常用配置详解 及优化

常用配置详解 1 目录结构 /bin:脚本文件目录. /common/lib:存放所有web项目都可以访问的公共jar包(使用Common类加载器加载). /conf:存放配置文件,最重要的是server.xml. /logs:存放日志文件. /server/webapps:来管理Tomcat-web服务用的.仅对TOMCAT可见,对所有的WEB APP都不可见(使用Catalina类加载器加载). /shared/lib:仅对所有WEB APP可见,对TOMCAT不可见(使用Shared类加载

直播卡顿原因详解及优化

随着视频直播的发展,很多直播团队可能会遇到视频直播卡顿,频繁出现缓冲标志或者直播画面一卡一卡等情况.究竟是哪些原因造成了视频直播观看的卡顿情况呢? 又拍直播云结合实践经验,从设备.视频流.网络这三方面进行解剖分析造成直播卡顿的问题及其解决方法. 视频直播卡顿原因 造成直播视频卡顿的原因主要有设备.视频流.网络这三方面的问题. 问题排查及解决方法 设备 高清视频往往会给硬件带来解码压力,由于解码造成的卡顿尤为明显.同时如果PC端Flash Player或移动端播放软件版本过低,可能也会造成解码问题

从技巧、案例和工具入手,详解性能优化怎么做

颜圣杰,.NET平台软件工程师,对DDD领域驱动设计感兴趣,目前在研究ABP框架,热爱写作与分享. 最近一段时间系统新版本要发布,在beta客户测试期间,暴露了很多问题,除了一些业务和异常问题外,其它都集中在性能上.有幸接触到这些性能调优的机会,这里跟大家归纳交流一下. 性能优化是一个老生常谈的问题了,典型的性能问题如页面响应慢.接口超时,服务器负载高.并发数低,数据库频繁死锁等.而造成性能问题又有很多种,比如磁盘I/O.内存.网络.算法.大数据量等.我们可以大致把性能问题分为四个层次:代码层次