Mysql性能测试诊断

  mysql> showglobal status;

  可以列出mysql服务器运行各种状态值,另外,查询mysql服务器配置信息语句:

mysql> showvariables;

一、慢查询

mysql> showvariables like ‘%slow%‘;
+------------------+-------+
| variable_name | value |
+------------------+-------+
|log_slow_queries | on |
|slow_launch_time | 2 |
+------------------+-------+

mysql> showglobal status like ‘%slow%‘;
+---------------------+-------+
| variable_name | value |
+---------------------+-------+
|slow_launch_threads | 0 |
| slow_queries | 4148 |
+---------------------+-------+

配置中打开了记录慢查询,执行时间超过2秒的即为慢查询,系统显示有4148个慢查询,你可以分析慢查询日志,找出有问题的sql语句,慢查询时间不宜设置过长,否则意义不大,最好在5秒以内,如果你需要微秒级别的慢查询,可以考虑给mysql打补丁:http://www.percona.com/docs/wiki/release:start,记得找对应的版本。

打开慢查询日志可能会对系统性能有一点点影响,如果你的mysql是主-从结构,可以考虑打开其中一台从服务器的慢查询日志,这样既可以监控慢查询,对系统性能影响又小。

二、连接数

经常会遇见”mysql: error 1040: too many connections”的情况,一种是访问量确实很高,mysql服务器抗不住,这个时候就要考虑增加从服务器分散读压力,另外一种情况是mysql配置文件中max_connections值过小:

mysql> show variables like ‘max_connections‘;
+-----------------+-------+
| variable_name
 | value |
+-----------------+-------+
| max_connections | 256
 |
+-----------------+-------+

这台mysql服务器最大连接数是256,然后查询一下服务器响应的最大连接数:

mysql> show global status like ‘max_used_connections‘;

mysql服务器过去的最大连接数是245,没有达到服务器连接数上限256,应该没有出现1040错误,比较理想的设置是

max_used_connections / max_connections * 100% ≈ 85%

最大连接数占上限连接数的85%左右,如果发现比例在10%以下,mysql服务器连接数上限设置的过高了。

三、key_buffer_size

key_buffer_size是对myisam表性能影响最大的一个参数,下面一台以myisam为主要存储引擎服务器的配置:

mysql> show variables like‘key_buffer_size‘;+-----------------+------------+
| variable_name
 | value |
+-----------------+------------+
| key_buffer_size | 536870912 |
+-----------------+------------+

分配了512mb内存给key_buffer_size,我们再看一下key_buffer_size的使用情况:

mysql> show global status like ‘key_read%‘;
+------------------------+-------------+
| variable_name
 | value |
+------------------------+-------------+
| key_read_requests
 | 27813678764 |
| key_reads
 | 6798830 |
+------------------------+-------------+

  一共有27813678764个索引读取请求,有6798830个请求在内存中没有找到直接从硬盘读取索引,计算索引未命中缓存的概率:

key_cache_miss_rate = key_reads / key_read_requests * 100%

比如上面的数据,key_cache_miss_rate为0.0244%,4000个索引读取请求才有一个直接读硬盘,已经很bt了,key_cache_miss_rate在0.1%以下都很好(每1000个请求有一个直接读硬盘),如果key_cache_miss_rate在0.01%以下的话,key_buffer_size分配的过多,可以适当减少。

mysql服务器还提供了key_blocks_*参数:

mysql> show global status like ‘key_blocks_u%‘;
+------------------------+-------------+
| variable_name
 | value |
+------------------------+-------------+
| key_blocks_unused
 | 0 |
| key_blocks_used
 | 413543 |
+------------------------+-------------+

key_blocks_unused表示未使用的缓存簇(blocks)数,key_blocks_used表示曾经用到的最大的blocks数,比如这台服务器,所有的缓存都用到了,要么增加key_buffer_size,要么就是过渡索引了,把缓存占满了。比较理想的设置:

key_blocks_used / (key_blocks_unused + key_blocks_used) * 100% ≈ 80%

四、临时表

mysql> show global status like ‘created_tmp%‘;
+-------------------------+---------+
| variable_name
 | value |
+-------------------------+---------+
| created_tmp_disk_tables | 21197
 |
| created_tmp_files
 | 58 |
| created_tmp_tables
 | 1771587 |
+-------------------------+---------+

每次创建临时表,created_tmp_tables增加,如果是在磁盘上创建临时表,created_tmp_disk_tables也增加,created_tmp_files表示mysql服务创建的临时文件文件数,比较理想的配置是:

created_tmp_disk_tables /created_tmp_tables * 100% <= 25%比如上面的服务器created_tmp_disk_tables / created_tmp_tables * 100% = 1.20%,应该相当好了。我们再看一下mysql服务器对临时表的配置:

mysql> show variables where variable_name in (‘tmp_table_size‘,‘max_heap_table_size‘);
+---------------------+-----------+
| variable_name
 | value |
+---------------------+-----------+
| max_heap_table_size | 268435456 |
| tmp_table_size
 | 536870912 |
+---------------------+-----------+

只有256mb以下的临时表才能全部放内存,超过的就会用到硬盘临时表。

五、open table情况

mysql> show global status like ‘open%tables%‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_tables
 | 919 |
| opened_tables | 1951
 |
+---------------+-------+

open_tables表示打开表的数量,opened_tables表示打开过的表数量,如果opened_tables数量过大,说明配置中table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小,我们查询一下服务器table_cache值:

mysql> show variables like ‘table_cache‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| table_cache
 | 2048 |
+---------------+-------+

比较合适的值为:

open_tables / opened_tables * 100% >= 85%

open_tables / table_cache * 100% <= 95%

六、进程使用情况

mysql> show global status like ‘thread%‘;
+-------------------+-------+
| variable_name
 | value |
+-------------------+-------+
| threads_cached
 | 46 |
| threads_connected | 2
 |
| threads_created
 | 570 |
| threads_running
 | 1 |
+-------------------+-------+

如果我们在mysql服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。threads_created表示创建过的线程数,如果发现threads_created值过大的话,表明mysql服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器thread_cache_size配置:

mysql> show variables like ‘thread_cache_size‘;
+-------------------+-------+
| variable_name
 | value |
+-------------------+-------+
| thread_cache_size | 64
 |
+-------------------+-------+

示例中的服务器还是挺健康的。

七、查询缓存(query cache)

mysql> show global status like ‘qcache%‘;
+-------------------------+-----------+
| variable_name
 | value |
+-------------------------+-----------+
| qcache_free_blocks
 | 22756 |
| qcache_free_memory
 | 76764704 |
| qcache_hits
 | 213028692 |
| qcache_inserts
 | 208894227 |
| qcache_lowmem_
prunes | 4010916 |
| qcache_not_cached
 | 13385031 |
| qcache_queries_in_cache | 43560
 |
| qcache_total_blocks
 | 111212 |
+-------------------------+-----------+

mysql查询缓存变量解释:

qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。flush query cache会对缓存中的碎片进行整理,从而得到一个空闲块。

qcache_free_memory:缓存中的空闲内存。

qcache_hits:每次查询在缓存中命中时就增大

qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。

qcache_lowmem_prunes:缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存很少。(上面的free_blocks和free_memory可以告诉您属于哪种情况)

qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是 select 语句或者用了now()之类的函数。

qcache_queries_in_cache:当前缓存的查询(和响应)的数量。

qcache_total_blocks:缓存中块的数量。

我们再查询一下服务器关于query_cache的配置:

mysql> show variables like ‘query_cache%‘;
+------------------------------+-----------+
| variable_name
 | value |
+------------------------------+-----------+
| query_cache_limit
 | 2097152 |
| query_cache_min_res_unit
 | 4096 |
| query_cache_size
 | 203423744 |
| query_cache_type
 | on |
| query_cache_wlock_invalidate | off
 |
+------------------------------+-----------+

各字段的解释:

query_cache_limit:超过此大小的查询将不缓存

query_cache_min_res_unit:缓存块的最小大小

query_cache_size:查询缓存大小

query_cache_type:缓存类型,决定缓存什么样的查询,示例中表示不缓存 select sql_no_cache 查询

query_cache_wlock_invalidate:当有其他客户端正在对myisam表进行写操作时,如果查询在query cache中,是否返回cache结果还是等写操作完成再读表获取结果。

query_cache_min_res_unit的配置是一柄”双刃剑”,默认是4kb,设置值大对大数据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费。

查询缓存碎片率 = qcache_free_blocks /qcache_total_blocks * 100%

如果查询缓存碎片率超过20%,可以用flush query cache整理缓存碎片,或者试试减小query_cache_min_res_unit,如果你的查询都是小数据量的话。

查询缓存利用率 = (query_cache_size -qcache_free_memory) / query_cache_size * 100%

查询缓存利用率在25%以下的话说明query_cache_size设置的过大,可适当减小;查询缓存利用率在80%以上而且qcache_lowmem_prunes> 50的话说明query_cache_size可能有点小,要不就是碎片太多。

查询缓存命中率 = (qcache_hits - qcache_inserts) /qcache_hits * 100%

示例服务器查询缓存碎片率= 20.46%,查询缓存利用率= 62.26%,查询缓存命中率= 1.94%,命中率很差,可能写操作比较频繁吧,而且可能有些碎片。

八、排序使用情况

mysql> show global status like ‘sort%‘;
+-------------------+------------+
| variable_name
 | value |
+-------------------+------------+
| sort_merge_passes | 29
 |
| sort_range
 | 37432840 |
| sort_rows
 | 9178691532 |
| sort_scan
 | 1860569 |
+-------------------+------------+

sort_merge_passes 包括两步。mysql 首先会尝试在内存中做排序,使用的内存大小由系统变量sort_buffer_size 决定,如果它的大小不够把所有的记录都读到内存中,mysql 就会把每次在内存中排序的结果存到临时文件中,等 mysql 找到所有记录之后,再把临时文件中的记录做一次排序。这再次排序就会增加sort_merge_passes。实际上,mysql 会用另一个临时文件来存再次排序的结果,所以通常会看到sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件,所以速度可能会比较慢,增加 sort_buffer_size 会减少 sort_merge_passes 和创建临时文件的次数。但盲目的增加 sort_buffer_size并不一定能提高速度,见 how fast can you sort data with mysql?(引自http://qroom.blogspot.com/2007/09/mysql-select-sort.html,貌似被墙)

另外,增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值对排序的操作也有一点的好处,参见:http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

九、文件打开数(open_files)

mysql> show global status like ‘open_files‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_files
 | 1410 |
+---------------+-------+

mysql> show variables like ‘open_files_limit‘;
+------------------+-------+
| variable_name
 | value |
+------------------+-------+
| open_files_limit | 4590
 |
+------------------+-------+

比较合适的设置:open_files / open_files_limit * 100%<= 75%

十、表锁情况

mysql> show global status like ‘table_locks%‘;
+-----------------------+-----------+
| variable_name
 | value |
+-----------------------+-----------+
| table_locks_immediate | 490206328 |
| table_locks_waited
 | 2084912 |
+-----------------------+-----------+

table_locks_immediate表示立即释放表锁数,table_locks_waited表示需要等待的表锁数,如果table_locks_immediate /table_locks_waited > 5000,最好采用innodb引擎,因为innodb是行锁而myisam是表锁,对于高并发写入的应用innodb效果会好些。示例中的服务器table_locks_immediate/ table_locks_waited = 235,myisam就足够了。

十一、表扫描情况

mysql> show global status like ‘handler_read%‘;
+-----------------------+-------------+
| variable_name
 | value |
+-----------------------+-------------+
| handler_read_first
 | 5803750 |
| handler_read_key
 | 6049319850 |
| handler_read_next
 | 94440908210 |
| handler_read_prev
 | 34822001724 |
| handler_read_rnd
 | 405482605 |
| handler_read_rnd_next | 18912877839 |
+-----------------------+-------------+

mysql> show global status like ‘com_select‘;
+---------------+-----------+
| variable_name | value
 |
+---------------+-----------+
| com_select
 | 222693559 |
+---------------+-----------+

计算表扫描率:

表扫描率= handler_read_rnd_next / com_select

如果表扫描率超过4000,说明进行了太多表扫描,很有可能索引没有建好,增加read_buffer_size值会有一些好处,但最好不要超过8mb。

后记:

文中提到一些数字都是参考值,了解基本原理就可以,除了mysql提供的各种status值外,操作系统的一些性能指标也很重要,比如常用的top,iostat等,尤其是iostat,现在的系统瓶颈一般都在磁盘io上,关于iostat的使用

本文由飞翔的猪圈编辑整理,转载自飞翔的猪圈http://www.001pp.com转载请保留出处。

时间: 2024-10-14 18:20:34

Mysql性能测试诊断的相关文章

某系统单点登录性能测试诊断分析优化过程

某系统单点登录性能测试诊断分析优化过程 原因说明 下面描述的是前段时间协助本地一家上市IT公司做产品技术选型时对他们的技术框架进行性能测试与优化过程记录,因测试过程中涉及数据库选型和各类问题的监控分析优化,篇幅比较大,本次主要是描述在同样基础软硬件下.同样应用工程包和框架.同样数据量下,针对MYSQL环境下进行单点登录压力测试的结果过程记录. 初始环境配置 测试内容 1.            用户登录,首页查看,退出 2.  某业务交易新增.查询.删除.上传文件 3.  业务审批流程创建.提交

MySQL性能诊断与调优

[MySQL性能诊断与调优] LAMP 系统性能调优,第 3 部分: MySQL 服务器调优 http://www.ibm.com/developerworks/cn/linux/l-tune-lamp-3.html LoadRunner监控MySQL http://www.docin.com/p-92272846.html Advanced MySQL Performance Optimization http://www.mysqlperformanceblog.com/files/pres

MySQL性能测试调优

MySQL性能测试调优 操作系统 基本操作 查看磁盘分区mount选项 $ mount 永久修改分区mount选项(系统重启后生效) 修改文件 /etc/fstab 中对应分区的mount options列的值 在线修改分区mount选项(系统重启后失效) $sudo -t ext4 -o remount,noatime,errors=remount-or / 文件系统优化 ext4文件系统优化 分区mount选项加noatime $sudo -t ext4 -o remount,noatime

APP性能测试诊断与优化--通过现象猜本质

这段时间忙着帮北京某城商行做移动端性能测试,因移动端IPD.手机等都是无线设备,而且该客户是面临全国各地用户提供移动端APP支持,为了更真实的模拟测试,我跟该项目的项目经理沟通直接在厦门本地通过无线网借用LR工具模拟并发压力测试.很感谢移动架构组的技术专家肖工的帮忙,让我顺利的在本地搭建了模拟机,并跟该项目经理要了生产环境的APK工程包部署后,并根据项目组提供的业务操作手册学习业务知识,后使用LR开发脚本进行压力测试.       因地域距离关系,而且是直接在生产环境压力测试,生产环境在北京,压

关于网络上的各种mysql性能测试结论

关于网上的各种性能测试帖子,我想说以下几点: 1.为了使性能测试更加的客观.实际,应该说明针对什么场景进行测试,查询.还是修改,是否包含了主键,包含了几个索引,各自的差别是什么.因为不同的mysql分支,之所以存在是因为有其解决的点存在,而不是为了山寨而山寨:更有甚者,甚至直接拿pg进行测试得出结论: 2.测试所用硬件应该具有实际代表性,很多的测试用vm,1g,2g的内存,n旧的cpu或者笔记本的cpu进行测试,这种测试根本就没有典型意义:实际的生产机器再不济用公有云,那也得intel e系列c

Mysql 性能测试工具 sysbench的安装和使用

工作上需要用到AWS和Azure的Mysql服务,需要测试比较一下两个云服务的性能.于是开始百度 + google,查找性能测试工具.最终决定用sysbench. sysbench介绍 sysbench是一款开源的多线程性能测试工具,可以执行CPU/内存/线程/IO/数据库等方面的性能测试. 数据库目前支持MySQL/Oracle/PostgreSQL.本文只是简单演示一下几种测试的用法,后续准备利用sysbench来对MySQL进行一系列的测试.具体的一些参数设置,需要根据不同的测试要求来进行

Jmeter之mysql性能测试

Jmeter官网地址:https://jmeter.apache.org/ 作为开发人员,必要的性能测试还是需要掌握的,虽然配置druid可以比较直观获得sql的执行时间,那些表被访问的比较多等等,但是不能测试sql被1000次或10000次执行会怎么样?这时性能测试工具就会派上用场,它可以模拟用户访问场景 Jmeter是个很好的性能测试工具 测试mysql性能可参考如下: 1.添加连接mysql对应的jar文件 没有该文件可以去官网下载,下载成功后,将该文件放到jre/lib/ext文件下,否

MySQL性能测试工具sysbench的安装和使用

sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据库的性能测试.目前支持的数据库有MySQL.Oracle和PostgreSQL.当前功能允许测试的系统参数有: file I/O performance (文件I / O性能) scheduler performance (调度性能) memory allocation and transfer speed (内存分配和传输速度) POSIX threads implementat

mysql性能测试工具之tpcc-mysql

1.安装配置 官网下载地址:http://imysql.com/wp-content/uploads/2014/09/tpcc-mysql-src.tgz1. 用bzr客户端下载软件包[[email protected] ~]# yum install bzr -y [[email protected] ~]# bzr branch lp:~percona-dev/perconatools/tpcc-mysql[[email protected] ~]# cd tpcc-mysql/src/[[