mysql主从复制延迟

  对于高并发流量大的web站点,单点的数据库往往很难支持,一般是使用主从复制,再加上mysql proxy实现复制均衡,读写分离等功能等。但是主从复制会有延迟,大网站是如何解决这些问题的呢?转载自PHP老杨文章。

1.优酷的经验

  数据库采用水平的扩展,主从复制,随着从库的增多,复制延迟越来越厉害,最终无法忍受。最终还是采用了平行的数据库,相当于集群吧,把一组用户的相关的数据和表放到一组的数据库上。使用SSD来优化mysql的I/O,性能明显提高,采用数据库分片的技术,抛弃了原来主从延迟的问题,按照userid进行分片,这样的话就必须有一个全局的表来管理用户和shard的关系,根据userid可以得到shardid,然后根据shardid去制定的分片查询数据,但是如果网站的用户过多,此表也可能会成为瓶颈,因为查询会非常的频繁,可以考虑使用memcache,等方案。

  具体的用户分片的方案是userid一般是用户注册的时候自动生成的,然后看有几台web服务器,假如有M台,用userid % M便可以分配一台DB服务器,然后再继续的对应数据库表等,求余数的方案来进行。

2.facebook的经验

  采用大量的MySQL服务器加memcache服务器。

  用户发起更新操作,更名‘a‘->‘b‘---->主数据库写入b,删除主端memcahce的名字值-->远程的memcache并不删除,主从复制更新从库,然后更新memcache,这样的方案仍然会有数据延迟的问题,我觉得可以这样,当主服务器有数据更新的时候,立即更新从服务器中的memcache的数据,这样的话延迟就非常少了。

  对于比较重要而写必须实时的数据,比如用户更换密码,更新操作写入主库,然后用新密码登录(从库读),会造成密码不一致的情况,导致短时间内登录错误,所以这种需要实时读取的数据最好从主库直接读取,避免从库数据滞后,还好需要实时读取的情况并不是很多。

时间: 2024-08-08 22:07:35

mysql主从复制延迟的相关文章

mysql主从复制延迟问题的相关知识与解决方案

一.如何监控发生了主从延迟? 在从库机器上,执行show slave status,查看Seconds_Behind_Master值,代表主从同步从库落后主库的时间,单位为秒,若同从同步无延迟,这个值为0. Mysql主从延迟一个重要的原因之一是:mysql是以单线程串行执行. 主从复制数据时,在从服务器上的mysql,是一个线程在同步数据. 串行的方式,它是指,执行一个后才继续执行下一个.如果一个卡住了,要等待时间,才会继续下一个.串行与并行是相反的. 二.同步延迟发生的场景 当主库的TPS并

mysql主从复制延迟问题

在一般生产环境,普遍通过MySQL的主从复制进行读写分离,从而减轻主服务器的压力,提高数据的读写效率.通常情况下,主从复制基本上能做实时同步.由于服务器实际运行过程中,客户端的连接服务器,读写数据不可能是均匀,在某个时间点出现大量并发连接,主服务器不断的有更新操作不断的写入,但是从服务器当某个语句在从服务器上执行的时间较长,或者某个语句要进行锁表,就会导致主服务器的SQL语句大量积压,未被同步到从服务器,这样就会导致在某个时刻主从数据不一致:还有主从复制,是通过网络进行数据传输,网络的抖动.主从

mysql 主从复制延迟及解决

qps 每秒处理的查询数tps 每秒处理的事务数IOPS,每秒磁盘进行的I/O操作次数 一 延迟的原因 主库并发量大,而从库复制是单线程,从库过多,主从系统配置不当,cpu,内存等,慢sql过大多,大的事物,网络延迟,跨公网的主从复制很容易导致主从复制延迟 二解决方法 1.适当数量的从库,3-5个,从库配置更好的硬件,网络配置等 2.将大事物拆分成多个小事物进行提交,表加主键,否在会全表扫描 3.mysql 5.7.19 + 版本支持并行复制 # slave 从表配置 slave-paralle

MySQL 主从复制延迟问题

导致主从复制延迟的原因: (1) 主库的从库太多,导致复制延迟(2) 从库硬件比主库差,导致复制延迟(3) 慢 SQL 语句过多,导致复制延迟(4) 主从复制的设计问题,导致复制延迟(5) 主从库之间的网络延迟,导致复制延迟(6) 主库读写压力大,导致复制延迟

mysql 主从复制延迟监控

1.在主从上分别安装percona-toolkit wget https://www.percona.com/downloads/percona-toolkit/2.2.18/RPM/percona-toolkit-2.2.18-1.noarch.rpm yum localinstall percona-toolkit-2.2.18-1.noarch.rpm 2.在主库上执行 pt-heartbeat --user=root --password=******* -S /var/lib/mysq

老男孩教育每日一题-2017年4月28日- MySQL主从复制常见故障及解决方法?

MySQL主从复制常见故障及解决方法? 1.1.1故障1:从库数据与主库冲突 show slave status; 报错:且show slave status\G Slave_I/O_Running:Yes Slave_SQL_Running:No Seconds_Behind_Master:NULL Last_error:Error 'Can't create database 'xiaoliu'; database exists' on query. Default   database:'

MySQL 主从复制扩展

(1) 主库的线程状态 (2) 从库的线程状态 (3) MySQL 主从复制备份策略 (4) MySQL 主从复制延迟问题 (5) 让从库记录 binlog 日志

第五章:MySQL主从复制

目录 1. 主从MySQL主从复制介绍... 1 2. MySQL主从复制的企业应用场景... 3 3. 实现MySQL主从读写分离的方案... 5 4. MySQL主从复制原理... 7 5. 主从复制实战... 8 5.1 MySQL主从配置... 8 5.2 MySQL数据库级联配置... 12 5.3 MySQL主从复制配置步骤小结... 15 5.4 主从配置表示成功后的关键参数说明... 15 5.5 MySQL主从复制配置问题汇总... 16 6. MySQL主从复制更多应用技巧.

怎样解决MySQL数据库主从复制延迟的问题?

1.网络超时 2.慢查询 3.流量 问题一:主库的从库太多,导致复制延迟从库数据以3-5个为宜,要复制的从节点数量过多,会导致复制延迟问题二:从库硬件比主库差,导致复制延迟查看Master和Slave的系统配置,可能会因为机器配置不当,包括磁盘I/O.CPU.内存等各方面因素造成复制的延迟.一般发生在高并发大数据量写入场景中问题三:慢SQL语句过多假如一条SQL语句执行时间是20秒,那么从执行完毕到从库上能查到数据至少需要20秒,这样就延迟20秒了.一般要把SQL语句的优化作为常规工作不断地进行