mysql调优参考笔记

之前一位童鞋发的:

5版邮件,在用户量很大的情况下,如果做了分布式,如果在后端mysql上执行:

mysql> show global status like ‘Thread%‘; 
 Threads_cached      0
 Threads_connected  793     
 Threads_created   
2397086  
 Threads_running    260

看到 Threads_created
的值特别大,Threads_cached为0,而且此时mysql连接数和负载特别高的情况下,一定在my.cnf中加上如下参数:

thread_cache_size  128

先停掉各个前端,然后再重启后端mysql.

会发现各个前端机mysql的连接数总和会远小于后端mysql的连接数,因为连接都被cached掉了.

Mysql优化笔记:

从慢查询、连接数、Key_buffer_size、临时表、Open
Table情况、进程使用情况、查询缓存、排序使用情况、文件打开数、表锁情况、表扫描情况

这些方面去优化

====================================================================================

1. 慢查询:
慢查询个数:  mysql>  show global status like
‘%slow_queries‘;
慢查询日志开关: mysql>  show global  variables like
‘%log_slow_queries‘;

(1)  开启慢查询日志:

my.cnf
long_query_time = 5     //
执行超过多久的sql会被log下来,这里是5秒
log-slow-queries = /var/log/slowquery.log  
//设置把日志写在那里
log-queries-not-using-indexes  //纪录没使用索引的sql
配置后重启
mysql。

(2)  分析日志: mysqldumpslow

-s,是order的顺序,主要有c,t,l,r和ac,at,al,ar,分别是按照query次数,时间,lock的时间和返回的记录数来排序,前面加了a的时倒序。
-t,是top
n的意思,即为返回前面多少条的数据
-g,后边可以写一个正则匹配模式,大小写不敏感的

mysqldumpslow -s c -t 20 /var/log/slowquery.log 
//访问次数最多的20个sql语句
mysqldumpslow -s t -t 20 /var/log/slowquery.log 
//执行时间最多的20个sql语句
mysqldumpslow -s r -t 20 /var/log/slowquery.log 
//返回记录集最多的20个sql
mysqldumpslow -t 10 -s t -g  "left join"  
/var/log/slowquery.log   //这按照时间返回前10条里面含有左连接的sql语句。

=================================================================================

2.   连接数
最大连接数配置:   show global variables like
‘max_connections‘;
曾用最大连接数:   show global status like
‘max_used_connections‘;
当前连接数:    show global status like
‘Threads_connected‘;
曾用来处理连接的线程数:  show global status like
‘Threads_created‘;

max_used_connections / max_connections * 100% (理想值 ≈ 85%)

修改最大连接数配置:
mysql>   set GLOBAL max_connections=1000;
mysql>  
flush privileges
也可以修改/etc/my.cnf中的max_connections:
max_connections =
1000

max_used_connections:  The maximum number of connections that have been in
use simultaneously since the server started.
从MYSQL本次开机以来,历史数据中的最大同时的并发联接数。
Threads_created:     The number of threads
created to handle connections.

========================================================================================

3.  key_buffer_size

key_buffer_size是对MyISAM表性能影响最大的一个参数,Innodb表不适用。

mysql>  show global variables like ‘key_buffer_size‘; 
mysql> 
show global status  where Variable_name in (‘Key_read_requests‘,‘Key_reads‘) ;

Key_read_requests    737517278
 Key_reads                  276013

mysql>  select 276013/737517278*100;   
 0.0374

一共有737517278个索引读取请求,有276013个请求在内存中没有找到直接从硬盘读取索引,计算索引未命中缓存的概率:
key_cache_miss_rate
= Key_reads / Key_read_requests * 100% =
0.0374%
如果未命中概率过大,可以适当加大key_buffer_size

mysql>  show global status where Variable_name in
(‘key_blocks_used‘,‘key_blocks_unused‘); 
 Key_blocks_unused  131673

Key_blocks_used     217227 
mysql>  select
217227/(131673+217227)*100;
 62.2605

Key_blocks_unused表示未使用的缓存簇(blocks)数,Key_blocks_used表示曾经用到的最大的blocks数
Key_blocks_used
/ (Key_blocks_unused + Key_blocks_used) * 100% ≈ 62.2605% (理想值 ≈ 80%)

========================================================================================

临时表

mysql>  show global status like ‘created_tmp%‘;

Created_tmp_disk_tables   1     
 Created_tmp_files            16

Created_tmp_tables       1145

每次创建临时表,Created_tmp_tables增加;如果是在磁盘上创建临时表,Created_tmp_disk_tables
也增加;Created_tmp_files表示MySQL服务创建的临时文件文件数:

Created_tmp_disk_tables / Created_tmp_tables * 100% = 0.0873% (理想值<=
25%)

mysql>  show variables where Variable_name in (‘tmp_table_size‘,
‘max_heap_table_size‘);
  max_heap_table_size     16777216
 
tmp_table_size            33554432

可适当增加  tmp_table_size

========================================================================================

open table 的情况

mysql> show global status like ‘open%tables%‘;

Open_tables        512  
 Opened_tables     2008 
mysql> show
variables like ‘%table_cache%‘;
 table_cache    512

mysql> select  512/2008*100;
 25.4980
mysql> select
512/512*100;
 100.0000

Open_tables 表示打开表的数量,Opened_tables表示打开过的表数量。
如果Opened_tables数量过大,说明配置中
table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小.

Open_tables / Opened_tables * 100% = 38.5196% 理想值 (>=
85%)
Open_tables / table_cache * 100% = 99.6094% 理想值  (<= 95%)

========================================================================================

进程使用情况

mysql> show global status like ‘Thread%‘; 
 Threads_cached     
7
 Threads_connected  112    
 Threads_created    2397

Threads_running    24

mysql> show variables like ‘thread_cache_size‘;
 thread_cache_size  
64

如果我们在MySQL服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。
Threads_created表示创建过的线程数,如果发现Threads_created值过大的话,表明
MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值。

========================================================================================

查询缓存(query cache)

mysql> show global status like ‘qcache%‘;

Qcache_free_blocks       4119    
 Qcache_free_memory       11911976

Qcache_hits              873527   
 Qcache_inserts           1267423

Qcache_lowmem_prunes     713698   
 Qcache_not_cached        895888

Qcache_queries_in_cache  11301    
 Qcache_total_blocks      27096

Qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY
CACHE会对缓存中的碎片进行整理,从而得到一个空闲块。
Qcache_free_memory:缓存中的空闲内存。
Qcache_hits:每次查询在缓存中命中时就增大
Qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。
Qcache_lowmem_prunes:缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存很少。(上面的         
free_blocks和free_memory可以告诉您属于哪种情况)
Qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是
SELECT
语句或者用了now()之类的函数。
Qcache_queries_in_cache:当前缓存的查询(和响应)的数量。
Qcache_total_blocks:缓存中块的数量。

我们再查询一下服务器关于query_cache的配置:

mysql>  show variables like ‘query_cache%‘;

query_cache_limit             1048576  
 query_cache_min_res_unit     
4096     
 query_cache_size              33554432

query_cache_type              ON      
 query_cache_wlock_invalidate 
OFF

query_cache_limit:超过此大小的查询将不缓存
query_cache_min_res_unit:缓存块的最小大小
query_cache_size:查询缓存大小
query_cache_type:缓存类型,决定缓存什么样的查询,示例中表示不缓存
select sql_no_cache
查询
query_cache_wlock_invalidate:当有其他客户端正在对MyISAM表进行写操作时,如果查询在query
cache中,是否返回cache结果还是等写操作完成再读表获取结果。
query_cache_min_res_unit的配置是一柄”双刃剑”,默认是4KB,设置值大对大数据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费。

mysql> select 4119 / 27096 *100;
  15.2015
查询缓存碎片率 =
Qcache_free_blocks / Qcache_total_blocks * 100%
如果查询缓存碎片率超过20%,可以用FLUSH
QUERY CACHE整理缓存碎片,或者试试减小query_cache_min_res_unit,如果你的查询都是小数据量的话。

mysql> select (33554432-11911976) / 33554432 *100;
 
64.4995
查询缓存利用率 = (query_cache_size - Qcache_free_memory) / query_cache_size
* 100%

查询缓存利用率在25%以下的话说明query_cache_size设置的过大,可适当减小;查询缓存利用率在80%以上而且Qcache_lowmem_prunes
> 50的话说明query_cache_size可能有点小,要不就是碎片太多。

查询缓存命中率 = (Qcache_hits - Qcache_inserts) / Qcache_hits * 100%
示例服务器
查询缓存碎片率 = 20.46%,查询缓存利用率 = 62.26%,查询缓存命中率 = 1.94%,命中率很差,可能写操作比较频繁吧,而且可能有些碎片。

========================================================================================

排序使用情况

mysql>  show global status like ‘sort%‘;
 Sort_merge_passes  2

Sort_range         18528  
 Sort_rows          390838

Sort_scan          3439

MySQL 首先会尝试在内存中做排序,使用的内存大小由系统变量 Sort_buffer_size
决定,如果它的大小不够把所有的记录都读到内存中,MySQL 就会把每次在内存中排序的结果存到临时文件中,等 MySQL
找到所有记录之后,再把临时文件中的记录做一次排序。这再次排序就会增加 Sort_merge_passes。实际上,MySQL
会用另一个临时文件来存再次排序的结果,所以通常会看到 Sort_merge_passes
增加的数值是建临时文件数的两倍。因为用到了临时文件,所以速度可能会比较慢,增加 Sort_buffer_size 会减少 Sort_merge_passes 和
创建临时文件的次数。但盲目的增加 Sort_buffer_size 并不一定能提高速度,见 How fast can you sort data with
MySQL?(引自http://qroom.blogspot.com/2007/09/mysql-select-sort.html,貌似被墙)

另外,增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值对排序的操作也有一点的好处,参见:http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

时间: 2024-08-08 03:06:29

mysql调优参考笔记的相关文章

mysql调优

MySQL调优可以从几个方面来做:1. 架构层:做从库,实现读写分离: 2.系统层次:增加内存:给磁盘做raid0或者raid5以增加磁盘的读写速度:可以重新挂载磁盘,并加上noatime参数,这样可以减少磁盘的i/o; 3. MySQL本身调优:(1) 如果未配置主从同步,可以把bin-log功能关闭,减少磁盘i/o(2) 在my.cnf中加上skip-name-resolve,这样可以避免由于解析主机名延迟造成mysql执行慢(3) 调整几个关键的buffer和cache.调整的依据,主要根

MySQL调优系列基础篇

前言 有一段时间没有写博客了,整天都在忙,上班,录制课程,恰巧最近一段时间比较清闲,打算弄弄MYSQL数据库. 关于MySQL数据库,这里就不做过多的介绍,开源.免费等特性深受各个互联网行业喜爱,尤其在某些大型电商应用之后,更是将其推崇至极. 前面有一段时间我写过SQL Server数据库的一个调优系列,有兴趣的可以关注下. 从本篇起,我将开始分析关于MySQL数据库的一系列的调优内容,同样作为开篇,先就在MySQL调优中所最常用的查询计划进行解析,力图做好基础的掌握,夯实基本功!而后再谈谈整体

MySQL 调优/优化的 100 个建议

MySQL 调优/优化的 100 个建议 提交 我的评论 加载中 已评论 MySQL 调优/优化的 100 个建议 2015-07-08 数据库开发 数据库开发 数据库开发 微信号 DBDevs 功能介绍 分享数据库相关技术文章.教程和工具,另外还包括数据库相关的工作.偶尔也谈谈程序员人生 :) (点击上方蓝字,快速关注我们) (编注:本文写于 2011 年) MySQL是一个强大的开源数据库.随着MySQL上的应用越来越多,MySQL逐渐遇到了瓶颈.这里提供 101 条优化 MySQL 的建议

第 四 十 一 天:mysql 调 优 方 式

小Q:世界上最快而又最慢,最长而又最短,最平凡而又最珍贵,最易被人忽视 而又最让人后悔的就是时间.                    ----高尔基 ======================================================================= MySQL调优可以从几个方面来做: 1. 架构层: 做从库,实现读写分离: 2.系统层次: 增加内存: 给磁盘做raid0或者raid5以增加磁盘的读写速度: 可以重新挂载磁盘,并加上noatime参数

MySQL调优 —— Using temporary

DBA发来一个线上慢查询问题, SQL如下(为突出重点省略部分内容): select distinct article0_.id, 等字段 from article_table article0_, hits_table articlehit1_ where article0_.id=articlehit1_.id order by hits; EXPLAIN结果:耗时4.03S 出乎意料, 竟然会有Using temporary, order by只用到了一张表, 正常情况下不会出现借助辅助表

mysql调优 基础

MySQL调优可以从几个方面来做: 1. 架构层:做从库,实现读写分离: 2.系统层次:增加内存:给磁盘做raid0或者raid5以增加磁盘的读写速度:可以重新挂载磁盘,并加上noatime参数,这样可以减少磁盘的i/o; 3. MySQL本身调优:(1) 如果未配置主从同步,可以把bin-log功能关闭,减少磁盘i/o(2) 在my.cnf中加上skip-name-resolve,这样可以避免由于解析主机名延迟造成mysql执行慢(3) 调整几个关键的buffer和cache.调整的依据,主要

MySQL(用户管理,常用sql语句,数据库备份恢复,MySQL调优,恢复误操作数据)

一.MySQL用户管理. 一个MySQL数据库里可以跑多个库,总不能给所有人的程序员root用户,则可以给他们单独的用户访问数据库. 创建用户:(grant all on *.* to 'user1'是把所有库的权限给'user1,他的来源Ip是127.0.0.1,他的密码是lty123456') (第一个*是库名,如果你写成mysql.*那就是对mysql库的所有权限) (来源ip也可以写成 % ,表示来源的所有ip) (grant这种语句是不会记录到命令历史里去的,因为不安全.) mysql

mysql 调优

转载:http://blog.csdn.net/yananwang/article/details/7030029 今天开始学习mysql调优啦 (偶那东一榔头西一棒子的学习历程的又一棒子) 好啦,言归正传: 首先,mysql调优有三个主要的方式,由低到高分别是: 1.硬件调优 2.修改mysql进程 3.优化mysql查询 一.硬件调优 先看看硬件调优吧.这个有两方面你可以考虑,首先对现有硬件条件进行修复,能调整的调整,能替换的替换,例如你可以把中央处理器(CPU)或磁盘速度加倍,也可以让内存

剑指架构师系列-MySQL调优

介绍MySQL的调优手段,主要包括慢日志查询分析与Explain查询分析SQL执行计划 1.MySQL优化 1.慢日志查询分析 首先需要对慢日志进行一些设置,如下: SHOW VARIABLES LIKE 'slow_query_log'; -- 查看是否开启了慢查询 SET GLOBAL slow_query_log_file='/var/lib/mysql/mysql-slow.log'; -- 设置慢查询日志的位置 SET GLOBAL log_queries_not_using_inde