mysql主从复制延迟问题

在一般生产环境,普遍通过MySQL的主从复制进行读写分离,从而减轻主服务器的压力,提高数据的读写效率。通常情况下,主从复制基本上能做实时同步。由于服务器实际运行过程中,客户端的连接服务器,读写数据不可能是均匀,在某个时间点出现大量并发连接,主服务器不断的有更新操作不断的写入,但是从服务器当某个语句在从服务器上执行的时间较长,或者某个语句要进行锁表,就会导致主服务器的SQL语句大量积压,未被同步到从服务器,这样就会导致在某个时刻主从数据不一致;还有主从复制,是通过网络进行数据传输,网络的抖动、主从服务器间的网络中断肯定会影响数据的传输,同样会造成数据的不一致。这就是主从延迟,虽说随着时间的推移,或者主服务器不在大量更新操作,主从服务器会逐步一致(网络中断除外),对于某些企业写数据时一般不做同步的查询,数据延迟就不是问题,但是一些交易型的企业(或者要求数据要求实时一致),数据的延迟是不能被接受的。
解决方案:
1、(网友给的方案)最简单的减少slave同步延时的方案就是在架构上做优化,尽量让主库的DDL快速执行。还有就是主库是写,对数据安全性较高,比如 sync_binlog=1,innodb_flush_log_at_trx_commit = 1 之类的设置,而slave则不需要这么高的数据安全,完全可以讲sync_binlog设置为0或者关闭binlog,innodb_flushlog也 可以设置为0来提高sql的执行效率。另外就是使用比主库更好的硬件设备作为slave。
2、提升主从服务器硬件性能
3、使用MySQL5.6.3以后的版本,因为mysql-5.6.3已经支持了多线程的主从复制。
虽说这些方案能一定程度上解决数据延迟,但是受MySQL主从复制的原理限制,还是会存在数据延迟的可能性的。我认为比较可行的方案还是使用MySQL Galera Cluster集群。
Mysql Galera Cluster是一套基于同步复制的多主MySQL集群解决方案,使用简单,没有单点故障,可用性高,能很好保证业务不断增长时我们数据的安全和随时的扩展。
优点:
1、同步复制,真正行级别的并发复制,各节点间无延迟且节点宕机不会导致数据丢失。
2、多主服务器的拓扑结构,可以在任意节点上进行读写。
3.自动加入新节点自动成员控制,故障节点自动从集群中移除,可提供 99.999% 的可用性。
4、客户端连接跟操作单台MySQL数据库的体验一致。
缺点:
1、目前仅支持InnoDB存储引擎,任何写入其他引擎的表,包括mysql.*表将不会复制,但是DDL语句会被复制的,因此创建用户将会被复制,但是insert into mysql.user…将不会被复制的.
2、DELETE操作不支持没有主键的表,没有主键的表在不同的节点顺序将不同,如果执行SELECT…LIMIT… 将出现不同的结果集.
3、在多主环境下LOCK/UNLOCK TABLES不支持,以及锁函数GET_LOCK(), RELEASE_LOCK()…
4、查询日志不能保存在表中。如果开启查询日志,只能保存到文件中。
5、允许最大的事务大小由wsrep_max_ws_rows和wsrep_max_ws_size定义。任何大型操作将被拒绝。如大型的LOAD DATA操作。
6、由于集群是乐观的并发控制,事务commit可能在该阶段中止。如果有两个事务向在集群中不同的节点向同一行写入并提交,失败的节点将中止。对 于集群级别的中止,集群返回死锁错误代码(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).
7、XA事务不支持,由于在提交上可能回滚。
8、整个集群的写入吞吐量是由最弱的节点限制,如果有一个节点变得缓慢,那么整个集群将是缓慢的。为了稳定的高性能要求,所有的节点应使用统一的硬件。
9、集群节点建议最少3个,所有服务器数据完全一致,数据同步更新,占用硬件资源,越多数量的服务器,牺牲的硬件资源越大。
10、如果DDL语句有问题将破坏集群。

原文地址:http://blog.51cto.com/6300167/2344750

时间: 2024-10-13 19:24:30

mysql主从复制延迟问题的相关文章

mysql主从复制延迟问题的相关知识与解决方案

一.如何监控发生了主从延迟? 在从库机器上,执行show slave status,查看Seconds_Behind_Master值,代表主从同步从库落后主库的时间,单位为秒,若同从同步无延迟,这个值为0. Mysql主从延迟一个重要的原因之一是:mysql是以单线程串行执行. 主从复制数据时,在从服务器上的mysql,是一个线程在同步数据. 串行的方式,它是指,执行一个后才继续执行下一个.如果一个卡住了,要等待时间,才会继续下一个.串行与并行是相反的. 二.同步延迟发生的场景 当主库的TPS并

mysql 主从复制延迟及解决

qps 每秒处理的查询数tps 每秒处理的事务数IOPS,每秒磁盘进行的I/O操作次数 一 延迟的原因 主库并发量大,而从库复制是单线程,从库过多,主从系统配置不当,cpu,内存等,慢sql过大多,大的事物,网络延迟,跨公网的主从复制很容易导致主从复制延迟 二解决方法 1.适当数量的从库,3-5个,从库配置更好的硬件,网络配置等 2.将大事物拆分成多个小事物进行提交,表加主键,否在会全表扫描 3.mysql 5.7.19 + 版本支持并行复制 # slave 从表配置 slave-paralle

MySQL 主从复制延迟问题

导致主从复制延迟的原因: (1) 主库的从库太多,导致复制延迟(2) 从库硬件比主库差,导致复制延迟(3) 慢 SQL 语句过多,导致复制延迟(4) 主从复制的设计问题,导致复制延迟(5) 主从库之间的网络延迟,导致复制延迟(6) 主库读写压力大,导致复制延迟

mysql主从复制延迟

对于高并发流量大的web站点,单点的数据库往往很难支持,一般是使用主从复制,再加上mysql proxy实现复制均衡,读写分离等功能等.但是主从复制会有延迟,大网站是如何解决这些问题的呢?转载自PHP老杨文章. 1.优酷的经验 数据库采用水平的扩展,主从复制,随着从库的增多,复制延迟越来越厉害,最终无法忍受.最终还是采用了平行的数据库,相当于集群吧,把一组用户的相关的数据和表放到一组的数据库上.使用SSD来优化mysql的I/O,性能明显提高,采用数据库分片的技术,抛弃了原来主从延迟的问题,按照

mysql 主从复制延迟监控

1.在主从上分别安装percona-toolkit wget https://www.percona.com/downloads/percona-toolkit/2.2.18/RPM/percona-toolkit-2.2.18-1.noarch.rpm yum localinstall percona-toolkit-2.2.18-1.noarch.rpm 2.在主库上执行 pt-heartbeat --user=root --password=******* -S /var/lib/mysq

老男孩教育每日一题-2017年4月28日- MySQL主从复制常见故障及解决方法?

MySQL主从复制常见故障及解决方法? 1.1.1故障1:从库数据与主库冲突 show slave status; 报错:且show slave status\G Slave_I/O_Running:Yes Slave_SQL_Running:No Seconds_Behind_Master:NULL Last_error:Error 'Can't create database 'xiaoliu'; database exists' on query. Default   database:'

MySQL 主从复制扩展

(1) 主库的线程状态 (2) 从库的线程状态 (3) MySQL 主从复制备份策略 (4) MySQL 主从复制延迟问题 (5) 让从库记录 binlog 日志

第五章:MySQL主从复制

目录 1. 主从MySQL主从复制介绍... 1 2. MySQL主从复制的企业应用场景... 3 3. 实现MySQL主从读写分离的方案... 5 4. MySQL主从复制原理... 7 5. 主从复制实战... 8 5.1 MySQL主从配置... 8 5.2 MySQL数据库级联配置... 12 5.3 MySQL主从复制配置步骤小结... 15 5.4 主从配置表示成功后的关键参数说明... 15 5.5 MySQL主从复制配置问题汇总... 16 6. MySQL主从复制更多应用技巧.

怎样解决MySQL数据库主从复制延迟的问题?

1.网络超时 2.慢查询 3.流量 问题一:主库的从库太多,导致复制延迟从库数据以3-5个为宜,要复制的从节点数量过多,会导致复制延迟问题二:从库硬件比主库差,导致复制延迟查看Master和Slave的系统配置,可能会因为机器配置不当,包括磁盘I/O.CPU.内存等各方面因素造成复制的延迟.一般发生在高并发大数据量写入场景中问题三:慢SQL语句过多假如一条SQL语句执行时间是20秒,那么从执行完毕到从库上能查到数据至少需要20秒,这样就延迟20秒了.一般要把SQL语句的优化作为常规工作不断地进行