找出导致Mysql机器IO过高的SQL

近期一次mysql机器io过高导致入库缓慢,这里记录下解决和问题查找的过程。

首先通过top看到wa比较高,wa意思是CPU花在等待IO上的时间占比, 进而通过iostat -x 2看到如下图,

rrqm/s:   每秒进行 merge 的读操作数目.即 delta(rmerge)/s
wrqm/s:  每秒进行 merge 的写操作数目.即 delta(wmerge)/s
r/s:           每秒完成的读 I/O 设备次数.即 delta(rio)/s
w/s:         每秒完成的写 I/O 设备次数.即 delta(wio)/s
rsec/s:    每秒读扇区数.即 delta(rsect)/s
wsec/s:  每秒写扇区数.即 delta(wsect)/s
rkB/s:      每秒读K字节数.是 rsect/s 的一半,因为每扇区大小为512字节.(需要计算)
wkB/s:    每秒写K字节数.是 wsect/s 的一半.(需要计算)
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区).delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O队列长度.即 delta(aveq)/s/1000 (因为aveq的单位为毫秒).
await:    平均每次设备I/O操作的等待时间 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)
svctm:   平均每次设备I/O操作的服务时间 (毫秒).即 delta(use)/delta(rio+wio)
%util:      一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的.即 delta(use)/s/1000 (因为use的单位为毫秒)

这显然是不正常的,通过iotop命令找到是哪个进程占用了IO

大量的mysql操作,show processlist可以看到几乎没有sql在运行,究竟是什么操作影响了io,想到了查看binlog找出当前正在执行的sql,找到指定时间的binlog,查看其内容

mysqlbinlog  --start-datetime="2015-3-14 20:15:23" --stop-datetime="2015-3-14 20:30:23"  –base64-output=DECODE-ROWS -v mysql-bin.000002 >tmp.sql

找出里面大量的H5测试日志插入sql,遂找到该进程停掉相关逻辑即可。

时间: 2024-10-29 16:39:24

找出导致Mysql机器IO过高的SQL的相关文章

解决mysql占用IO过高

1.日志产生的性能影响:由于日志的记录带来的直接性能损耗就是数据库系统中最为昂贵的IO资源.MySQL的日志包括错误日志(ErrorLog),更新日志(UpdateLog),二进制日志(Binlog),查询日志(QueryLog),慢查询日志(SlowQueryLog)等.当然,更新日志是老版本的MySQL才有的,目前已经被二进制日志替代. 在默认情况下,系统仅仅打开错误日志,关闭了其他所有日志,以达到尽可能减少IO损耗提高系统性能的目的.但是在一般稍微重要一点的实际应用场景中,都至少需要打开二

找出程序cpu使用率高的原因

确定是CPU过高 使用top观察是否存在CPU使用率过高现象 找出线程 对CPU使用率过高的进程的所有线程进行排序 ps H -e -o pid,tid,pcpu,cmd --sort=pcpu |grep xxx得到如下结果,其中线程2909使用了7.8%的CPU. 2907 2913 0.0 ./xxx 2907 2909 7.8 ./xxx也可以通过查看/proc中的信息来确定高CPU线程. 打印了4列,线程ID,线程名,用户时间和内核时间(排名未分先后) awk '{print $1,$

MySql语句性能问题定位--从sql语句到磁盘IO检查

写在前面:本文只针对IO导致MySql性能问题的定位,其他如CPU.MySql参数配置.程序自身等问题需要进一步补充. 背景:某条sql建表语句运行了15秒  :( Step1: 开启profiling SET profiling = 1; 关闭 SET profiling = off; 找到运行慢的sql语句ID show profiles; 查看sql语句CPU/IO等耗时具体的量化数据 show profile CPU,SWAPS,BLOCK IO,MEMORY,CONTEXT SWITC

mysql 查询随机条记录的sql语句和php计算概率

最近在网上找了下mysql查询随机的几个sql,我把最终的记录下来. SELECT * FROM uchome_mtag AS a JOIN (SELECT MAX(tagid) AS id FROM uchome_mtag) AS b ON (a.tagid>=FLOOR(b.id*RAND())) LIMIT 50 我试验后发现一个问题,当你的表里的总数和想要得到的条数很接近时,可能会不理想,有可能你有10条,你想查出随机的8条时,却只给出了5条的结果. 应该是那个大于等于造成的吧. 还有p

找出linux服务器IO占用高的程序

一台服务器比较性能无外乎内存.cpu使用率.IO使用率,把这3样优化好了,你服务器的负载就要小很多,当然网络情况不在我的考虑范围,毕竟网络这个情况是很不稳定,就算你服务器上把网络优化得再好,idc不给力也没用,除非是自己公司机房,好了,今天只说下怎么找IO占用高的程序. 系统:centos 5.5 1.开启IO监控 sysctl vm.block_dump=1或echo 1 >/proc/sys/vm/block_dump 2.开启后内核会将IO读写dump到日记,用dmesg查看: dmesg

编程之美 1.5快速找出故障机器

题目: 有很多服务器存储数据,假设一个机器仅存储一个标号为ID的记录,假设机器总量在10亿以下且ID是小于10亿的整数,假设每份数据保存两个备份,这样就有两个机器存储了同样的数据. 问题是:1.假设在某个时间得到一个数据文件ID的列表,是否能快速地找出表中仅出现一次的ID?即快速找出出现故障的机器存储的数据ID. 2.如果有两台机器出现故障呢?(假设存储同一份数据的两台机器不会同时出现故障,即列表中缺少的是两个不等的ID) 给出了4种解法思路 解法一: 最传统的比较列表,需要遍历整个列表,记录每

快速找出故障机器

题目描述 关心数据挖掘和搜索引擎的程序员都知道,我们需要很多的计算机来存储和处理海量数据. 然而,计算机难免出现硬件故障而导致网络联系失败或死机.为了保证搜索引擎的服务质量,我们需要保证每份数据都有多个备份. 简单起见,假设每个机器存储一个标号为ID的记录(ID是小于十亿的整数),假设每份数据都保存两个备份,这样就有两个机器储存了同样的数据. 1.在某个时间,如果得到一个数据文件ID的列表,是否能够快速地找出这个表中仅出现一次的ID? 2.如果已经知道只有一台机器死机(也就是说只有一个备份丢失)

编程之美之找出故障机器

问题:假设一个机器仅仅存储一个标号为ID的记录(ID小于10亿的整数),每个数据保存2个备份,这样就有2个机器存储了同样的数据. 提问1:某时间如果得到一个数据文件ID的列表,是否能够快速地找出这个表中仅仅出现一次的ID? 提问2:如果已经知道只有一台机器死机(即只有一个备份丢失)呢?如果有2台机器死机(设同一个数据的两个备份不会同时丢失)? 解提问1转换为有很多ID,其中只有一个ID出现次数小于2,其他正常ID出现次数等于2,如何找到这个次数为1的ID. 解法一   遍历计数 思路:遍历ID列

1.5 快速找出机器故障

题目:假设一个机器只存储一个标号为ID的记录,假设每份数据保存2个备份,这样就有2个机器存储了相同的数据.其中ID是小于10亿的整数. 问题1.在某个时间,如果得到一个数据文件ID的列表.是否能够快速的找到这个表中仅出现一次的ID?即快速找出出现故障的机器存储的数据ID. 问题2.如果有两台机器死机呢?(假设同一个数据的俩个备份不会同时丢失,即列表中缺少的是两个不等的ID) 扩展题.如果所有的机子都有三个备份,也就是说同一ID的机子有三台.而且同时又有三台机子死机,还能用上面的方法解决吗? 如果