mysql 第三十二篇文章~并发导致的从库延迟问题

一 简介:今天来聊聊周期性从库延迟的问题

二 背景:近期每天的指定时间段,收到从库延迟的报警,然后过一段时间恢复.由于从库是提供读服务的,所以需要解决

三 分析思路:

1 周期性延时,而且全部从库都出现延迟,应该是由于主库的DML操作引起的

2 查看主库的慢日志记录(我们的数据库会每小时进行切割),也并没有发生DML慢语句,排除因为慢sql(DML操作)导致的问题,主库的DML操作如果出现慢语句,同步到从库会更慢,比如update,delete语句

3 查看从库的慢日志记录,是否出现DML慢语句,并没有出现

4 查看天兔平台记录的DML语句曲线图,发现这段时间内出现了大量的并发insert操作,定位到了问题

四 解决问题:

1 采用mysqlbing进行指定时间段内的分析

sqlbinlog --no-defaults --start-datetime=‘2017-11-17 07:50:00‘ --stop-datetime=‘2017-11-17 08:20:00‘ --base64-output=decode-rows -vv binlogname > result.txt

2 运用AWK工具进行这段时间内的增删查改统计

awk ‘/###/ {if($0~/UPDATE|INSERT|DELETE/)count[$2" "$NF]++}END{for(i in count) print i,"\t",count[i]}‘  文件名| column -t | sort -k3n

会统计 库+表 增删查改次数 并进行排序

3 根据结果,发现了 insert最高的一张表,然后和运维确认业务IP,和研发进行沟通,得知业务一段时间进行集中处理,导致了上述情况。

五  此次排查顺利结束

时间: 2024-11-05 18:31:53

mysql 第三十二篇文章~并发导致的从库延迟问题的相关文章

mysql 第三十五篇文章~xtarbackup增量备份以及策略

一 简介: 今天咱们来探讨下增量备份的策略 二 背景: 随着数据量的日益增长,全备已经不现实了,所以探讨并测试了增量备份策略 三 具体策略: 1  一周为界限,一天做全备,其他时间以全备为基础进行增量备份 2  一周为界限,进行打包,然后上传到备份服务器 四 具体脚本: 第一部分 参数变量初始化 #!/bin/bash #config xingqi=`date +%w` DATE=`date +%Y%m%d%H` DATEyst=`date +"%Y%m%d%H" -d "-

mysql 第三十九篇文章~canal的深度解读1

一 简介:经过一段时间的研究,对canal有了一些见解 二 配置文件: 1 canal.properties (系统根配置文件)     主要参数列表   canal.properties (系统根配置文件)   canal.destinations= example 当前server上部署的instance列表 默认为example 在canal.properties定义了canal.destinations后,需要在canal.conf.dir对应的目录下建立同名的文件 canal.auto

mysql 第四十五篇文章~初探MGR

一 简介 :MGR一直没有时间测试,今天咱们来初步了解搭建一下呗 二 环境: mysql5.7.20  单台机器 启动三实例 三  mysql 搭建: 1 建立相关目录+ mkdir -p /data/mysql/data_3306 mkdir -p /data/mysql/data_3307 mkdir -p /data/mysql/data_3308 2 脚本初始化 /usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql

第十二篇:并发回射服务器的具体实现及其中僵尸子进程的清理( 上 )

前言 本文将分为两个部分,第一部分具体实现一对并发回射服务器/客户程序( 看过前面那篇文章的这部分可不看 重复了 ):第二部分为服务器添加僵尸子进程自动清理机制. 那么服务器具体怎么实现并发?怎么会有僵尸进程?僵尸进程又是什么?如何处理这些僵尸进程 ... 本文将为你一一解惑. 回射并发服务器 功能:接收用户发送过来的数据后再发送回用户,且能同时处理多个用户请求. 大体思路:每当收到用户请求,服务器就fork一个子进程,让子进程去处理客户请求. 实现代码: 1 #include "unp.h&q

第三十二篇、iOS 10开发

1.语音识别 苹果官方在文档中新增了API   Speech,那么在以前我们处理语音识别非常的繁琐甚至很多时候可能需要借助于第三方框架处理,那么苹果推出了这个后,我们以后处理起来就非常的方便了,speech具有以下特点: 可以实现连续的语音识别 可以对语 音文件或者语音流进行识别 最佳化自由格式的听写(可理解为多语言支持)和搜索式的字符串 官方文档: 核心代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23   #impo

mysql 第四十四篇文章~谈谈最基本的规范

一 简介:今天咱们来谈谈研发规范 二 规范   1 表       1 选择合适的字符集和存储引擎 推荐innodb utf8mb4       2 表名称不要包含mysql关键字,符合命名规范       3 不建议采用外键       4 尽量不要采用分区表,采用分库分表是最优方案  2 列       1 每一列都要设置comment注释        2 每一列最好都设置为非NULL,设置默认值       3 varchar和char的选择 定长选择char 变长选择varchar ,

第三十二篇:Windbg中USB2.0调试环境的搭建

2011年的时候,为了开发USB Mass storage -- UASP (USB attached SCSI Protocol)的设备驱动程序,从米国买了两个USB2.0的调试小设备(如下图,每个似乎80美刀,贼贵的东西). 主要是用来替代串口115200波特率的响应速度慢,以便解决调试效率的问题. 当时,根据WINDBG的HELP文档,而且也GOOGLE了一些网上的相关参考内容,硬是没有把USB2.0的调试环境搭建起来. 后来有一段时间,朋友要开发驱动程序,他原来一直用一台配有PCI转13

第三十二篇、直播项目开发

1.直播app分类:主要分为两大类 >秀场直播 如:映客 花椒 >游戏直播 如:斗鱼 2.iOS主要实现的技术 >播放:播放远程服务器收集到的视频 >录播:主播通过手机直播,客户端需要将直播实时视频传输给服务器,以边其它手机客户端播放 >即时通讯:观众和主播互动的礼物,聊天及时呈现   >弹幕 >整体界面的搭建和展示 3.技术分析 数据-->解协议-->封装格式数据-->解封装-->音频压缩数据-->音频解码-->音频的原始数据

小刘同学的一百三十二篇日记

感觉很伤...又不能11点之前睡觉. 其实今天还是在改论文了啊. 周五之前一定要交定稿了. 就不和大家多说了. 今天没有分享技术?? 那么大家早安吧?? morning~~ 原文地址:https://www.cnblogs.com/xiaoliutongxue/p/9005659.html