mysql的缓存机制

在服务器级别只提供了query
cache,而在存储引擎级别,MyISAM和InnoDB分别引入了key
cache和buffer pool

什么是query
cache

Mysql没有shared_pool缓存执行计划,但是提供了query
cache缓存sql执行结果和文本,如果在生命周期内完全相同的sql再次运行,则连sql解析都免去了;

所谓完全相同,包含如下条件

Sql的大小写必须完全一样;

发起sql的客户端必须使用同样的字符集和通信协议;

sql查询同一数据库下的同一个表(不同数据库可能有同名表);

Sql查询结果必须确定,即不能带有now()等函数;

当查询表发生DML或DDL,其缓存即失效;

针对mysql/information_schema/performance_schema的查询不缓存;

使用临时表的sql也不能缓存;

开启缓存后,每个select先检查是否有可用缓存(必须对这些表有select权限),而每个写入操作先执行查询语句并使相关缓存失效;

5.5起可缓存基于视图的查询

Mysql维护一个hash表用来查找缓存,其key为sql
text,数据库名以及客户端协议的版本等

相应参数

Have_query_cache:服务器是否支持查询缓存

Query_cache_type:0(OFF)不缓存;1(ON)缓存查询但不包括使用SQL_NO_CACHE的sql;2(DEMAND)只缓存使用SQL_CACHE的sql

Query_cache_size:字节为单位,即使query_cache_type=0也会为分配该内存,所以应该一并设置为0

Query_cache_limit:允许缓存的最大结果集,大于此的sql不予缓存

Query_cache_min_res_limit:用于限定块的最小尺寸,默认4K;

缓存的metadata占有40K内存,其可分为大小不等的多个子块,各块之间使用双向链表链接;根据其功能分别存储查询结果,基表和sql text等;

每个sql至少用到两个块:分别存储sql文本和查询结果,查询引用到的表各占一个块;

为了减少响应时间,每产生1行数据就发送给客户端;

数据库启动时调用malloc()分配查询缓存

查询缓存拥有一个全局锁,一旦有会话获取就会阻塞其他访问缓存的会话,因此当缓存大量sql时,缓存invalidation可能会消耗较长时间;

Innodb也可以使用查询缓存,每个表在数据字典中都有一个事务ID计数器,ID小于此值的事务不可使用缓存;表如果有锁(任何锁)则也不可使用查询缓存;

 状态变量

有关query
cache的状态变量都以Qcache打头

mysql> SHOW STATUS LIKE ‘Qcache%‘;

+-------------------------+--------+

| Variable_name           |
Value  |

+-------------------------+--------+

| Qcache_free_blocks      |
36     |

| Qcache_free_memory      | 138488 |

|
Qcache_hits            
| 79570  |

| Qcache_inserts          |
27087  |

| Qcache_lowmem_prunes    | 3114   |

| Qcache_not_cached       | 22989  |

| Qcache_queries_in_cache | 415    |

| Qcache_total_blocks     | 912    |

+-------------------------+--------+

Qcache_inserts—被加到缓存中query数目

Qcache_queries_in_cache—注册到缓存中的query数目

缓存每被命中一次,Qcache_hits就加1;

计算缓存query的平均大小=(query_cache_size-Qcache_free_memory)/Qcache_queries_in_cache

Com_select =
Qcache_not_cached + Qcache_inserts + queries with errors found during the
column-privileges check

Select = Qcache_hits +
queries with errors found by parser

Buffer pool

innodb即缓存表又缓存索引,还有设置多个缓冲池以增加并发,很像oracle

采用LRU算法:

所有buffer块位于同一列表,其中后3/8为old,每当新读入一个数据块时,先从队尾移除同等块数然后插入到old子列的头部,如再次访问该块则将其移至new子列的头部

Innodb_buffer_pool_size:  buffer
pool大小

Innodb_buffer_pool_instances: 子buffer pool数量,buffer
pool至少为1G时才能生效

Innodb_old_blocks_pct: 范围5
– 95, 默认为37即3/8,指定old子列的比重

Innodb_old_blocks_time: 以ms为单位,新插入old子列的buffer块必须等待指定时间后才能移入new列,适用于one-time scan频繁的操作,以避免经常访问的数据块被剔出buffer pool

可通过状态变量获知当前buffer pool的运行信息

Innodb_buffer_pool_pages_total:缓存池总页数

Innodb_buffer_pool_bytes_data:当前buffer
pool缓存的数据大小,包括脏数据

Innodb_buffer_pool_pages_data:缓存数据的页数量

Innodb_buffer_pool_bytes_dirty:缓存的脏数据大小

Innodb_buffer_pool_pages_diry:缓存脏数据页数量

Innodb_buffer_pool_pages_flush:刷新页请求数量

Innodb_buffer_pool_pages_free:空闲页数量

Innodb_buffer_pool_pages_latched:缓存中被latch的页数量,这些页此刻正在被读或写;然而计算此变量比较消耗资源,只有在UNIV_DEBUG被定义了才可用

相关源代码如下

#ifdef
UNIV_DEBUG
  {"buffer_pool_pages_latched",
  (char*)
&export_vars.innodb_buffer_pool_pages_latched,  SHOW_LONG},
#endif
/* UNIV_DEBUG */

Innodb_buffer_pool_pages_misc:用于维护诸如行级锁或自适应hash索引的内存页=总页数-空闲页-使用的页数量

Innodb_buffer_pool_read_ahead:预读入缓存的页数量

Innodb_buffer_pool_read_ahead_evicted:预读入但是1次都没用就被剔出缓存的页

Innodb_buffer_pool_read_requests:InnoDB的逻辑读请求次数

Innodb_buffer_pool_reads:直接从磁盘读取数据的逻辑读次数

Innodb_buffer_pool_wait_free:缓存中没有空闲页满足当前请求,必须等待部分页回收或刷新,记录等待次数

Innodb_buffer_pool_write_requests:向缓存的写数量

可使用innodb standard monitor监控buffer
pool的使用情况,主要有如下指标:

Old
database pages: old子列中的页数

Pages
made young, not young: 从old子列移到new子列的页数,old子列中没有被再次访问的页数

Youngs/s  non-youngs/s: 访问old并导致其移到new列的次数

Key cache

5.5仅支持一个结构化变量,即key
cache,其包含4个部件

Key_buffer_size

Key_cache_block_size:单个块大小,默认1k

Key_cache_division_limit:warm子列的百分比(默认100),key cache buffer列表的分隔点,用于分隔host和warm子列表

Key_cache_age_threshold:页在hot子列中的生命周期,值越小则越快的移至warm列表

MyISAM只缓存索引,

可创建多个key
buffer—set global hot_cache.key_buffer_size=128*1024

索引指定key
buffer—cache index t1 in hot_cache

可在数据库启动时load index into
key_buffer提前加载缓存,也可通过配置文件自动把索引映射到key
cache

key_buffer_size = 4G

hot_cache.key_buffer_size = 2G

cold_cache.key_buffer_size = 2G

init_file=/path/to/data-directory/mysqld_init.sql

mysqld_init.sql内容如下

CACHE INDEX db1.t1, db1.t2, db2.t3 IN hot_cache

CACHE INDEX db1.t4, db2.t5, db2.t6 IN cold_cache

默认采用LRU算法,也支持名为中间点插入机制midpoint
insertion strategy

索引页刚读入key cache时,被放在warm列的尾部,被访问3次后则移到hot列尾并循环移动,如果在hot列头闲置连续N次都没访问到,则会被移到warm列头,成为被剔出cache的首选;

N= block no*
key_cache_age_threshold/100

时间: 2024-08-26 17:27:17

mysql的缓存机制的相关文章

MySql存储引擎+表解压缩机制+索引+查询缓存机制+慢查询日志

一.大型网站优化之MySql优化 1.优化和不优化的对比的 在业界当中我们有一个叫大数据(big data)的概念,所谓的大数据指代千万级别以上的数据作为起步的数据.所以我们现在需要对两张都具有50331650条记录的表进行查询对比,其中表名为tbl_no的表是没有做过任何优化手段的表,表名为tbl_yes的表是做过优化手段的表.这个实验的目的是观察具有优化手段和不具有优化手段的查询中速度的差别. 实验条件: 1)两张表的数据记录总数是相同的 2)两张表的数据字段结构也是一样的 3)查询的记录的

MySQL缓存机制

目录 1. MySQL缓存简介 1. MySQL缓存机制说明 2. MySQL缓存失效 3. 使用场景 2. 命中条件 3. 工作流程 4. 缓存失败 5. 缓存的内存管理 6. 缓存的使用时机 1. 通过缓存命中率判断 2. 通过缓存写入率判断 3. 通过命中-写入率判断 7. 缓存参数配置 1. 查看缓存相关配置 2. query_cache_type 3. query_cache_size 4. query_cache_min_res_unit 5. query_cache_limit 6

mysql 缓存机制

目录 1. MySQL缓存简介 1. MySQL缓存机制说明 2. MySQL缓存失效 3. 使用场景 2. 命中条件 3. 工作流程 4. 缓存失败 5. 缓存的内存管理 6. 缓存的使用时机 1. 通过缓存命中率判断 2. 通过缓存写入率判断 3. 通过命中-写入率判断 7. 缓存参数配置 1. 查看缓存相关配置 2. query_cache_type 3. query_cache_size 4. query_cache_min_res_unit 5. query_cache_limit 6

DISCUZ缓存机制

一.DICUZ缓存机制分析: 使用缓存机制的目的很明显,降低服务器性能的消耗,对于常用且变动比较小的数据的数据,可以尽可能的使用缓存来解决,代替最原生的不断的进行数据库查询匹配的过程.而Discuz中提供的数据缓存方式包括内存.数据库.文件三种方式,具体如下. (1).项目根目录/config/config_global.php配置数据库/文件缓存方式,当然还有第三种,就是内存缓存. $_config['cache']['type'] = 'sql';//file (2).缓存数据获取: 根目录

大规模网站架构的缓存机制和几何分形学

本文内容 前端 Cache 机制 Web 系统和几何分形学 缓存机制在我们的实际研发工作中,被极其广泛地应用,通过这些缓存机制来提升系统交互的效率.简单的总结来说,就是在两个环节或者系统之间,会引入一个cache/buffer做为提升整体效率的角色. 而有趣的是,这种缓存机制令人惊奇并且优美的遵循着"几何分形"的规律,也就是几何分形学中的"自相似性":从整体上看遵循某种组成规律或者特性,同时从每 一个局部看,仍然遵循某种组成的规律或者特性.我们的这些系统,从整体上看

Yii的缓存机制之片段缓存

一.首先在main.php配置缓存组件 在components里面添加cache项.代码如下: // application components 'components'=>array( 'user'=>array( // enable cookie-based authentication 'allowAutoLogin'=>true, ), 'db'=>array( 'connectionString' => 'mysql:host=localhost;dbname=y

QEMU-KVM 和 Ceph RBD 的 缓存机制总结

QEMU-KVM 的缓存机制的概念很多,Linux/KVM I/O 软件栈的层次也很多,网上介绍其缓存机制的文章很多.边学习变总结一下.本文结合 Ceph 在 QEMU/KVM 虚机中的使用,总结一下两者结合时缓存的各种选项和原理. 1. QEMU/KVM 缓存机制 先以客户机(Guest OS) 中的应用写本地磁盘为例进行介绍.客户机的本地磁盘,其实是 KVM 主机上的一个镜像文件虚拟出来的,因此,客户机中的应用写其本地磁盘,其实就是写到KVM主机的本地文件内,这些文件是保存在 KVM 主机本

MyBatis学习手记(二)MyBatis缓存机制

MyBatis学习手记二 前:MyBatis官方学习(中文)文档 http://mybatis.github.io/mybatis-3/zh/index.html 一,首先,要使用MyBatis必须使用官方提供的MyBatis的JAR包              链接:https://github.com/mybatis/mybatis-3/releases 这里使用的数据库是MySQL,所以还需要Mysql的驱动包. 二,看MyBatis官方介绍,说MyBatis支持一级缓存,二级缓存.这里才

大规模网站架构的缓存机制

[问底]徐汉彬:大规模网站架构的缓存机制和几何分形学 发表于16小时前|1796次阅读| 来源CSDN|10 条评论| 作者徐汉彬 问底CDN缓存徐汉彬 摘要:缓存机制简单总结可以说是空间换时间,被用于提升系统交互的效率.而有趣的是,这种缓存机制令人惊奇并且优美的遵循着"几何分形"的规律,也就是几何分形学中的"自相似性". [导读]徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作,负责过日请求量过亿的Web系统升级与重构,目前在小满科技创业,从事SaaS服务技术建设