Redis 的主从同步(复制)

Redis 的主从同步(复制)

什么是主从同步(复制)

假设有两个 redis 实例 ⇒ A 和 B

B 实例的内容与 A 实例的内容保持同步

那么称 A 实例是主数据库,B 实例是从数据库

这个过程称为主从同步

为什么要使用主从同步(复制)

  1. 防止发生单点故障
  1. 扩展内存

如何开启/关闭主从同步

开启同步

  • 配置文件中加入
slaveof 主数据库地址 主数据库端口
  • 在命令行中执行上述命令
redis> slaveof 主数据库地址 主数据库端口
  • 在开启从服务器时执行命令
$ reids-server --port 6380 --slaveof 主数据库地址 主数据库端口

关闭同步,并成为主数据库

redis> slaveof no one

原理(实现)

复制分为连接建立,数据同步(sync)和命令传播(command propagate)三个阶段

连接建立这里不说,与复制原理无关

下面主要讲数据同步与命令传播两个阶段

redis 从 2.8 版本之后优化了复制功能,咱们先从旧版本的复制说起:

旧版复制过程

步骤 主服务器 从服务器
同步流程    
1   向主服务器发送 SYNC 命令
2 收到 SYNC 命令,执行 BGSAVE 生成 RDB 文件  
3 使用缓冲区记录从现在的写命令  
4 将生成的 RDB 文件发送给从服务器  
5 将缓冲区内的写命令发给从服务器 接收并载入 RDB 文件
6   接收并执行主服务器发送来的写命令
命令传播流程    
1 发送客户端发过来的写命令  
2   执行主服务器发送过来的写命令
断线重连 与同步流程一致 与同步流程一致

经过上述步骤之后主从服务器的状态可以始终保持一致。

细心的读者已经发现了旧版复制的一些问题:

断线重连需要重新走一次同步的流程,而同步流程中的主服务器生成 RDB 文件和从服务器执行 RDB 文件都是特别密集的 IO 操作,这会让断线重连的成本很高

于是从 2.8 版本之后,redis 使用了新的技术来防止重新执行同步流程

新版复制过程

步骤 主服务器 从服务器
完整同步流程    
1   向主服务器发送 PSYNC 命令
2 收到 PSYNC 命令,执行 BGSAVE 生成 RDB 文件  
3 使用缓冲区记录从现在的写命令  
4   接收并执行主服务器发送来的写命令
5 将缓冲区内的写命令发给从服务器 接收并载入 RDB 文件
6 将生成的 RDB 文件发送给从服务器  
命令传播流程    
1 发送客户端发过来的写命令  
2   执行主服务器发送过来的写命令
断线重连过程    
1   发送 PSYNC 命令
2 向从服务器发送断线过程中的写命令  
3   执行写命令

新版复制经过上述步骤,也可以实现主从数据库状态的一致。

在断线重连过程中,只需要重新执行断线过程中未同步的命令即可,这样就比旧版的复制节省了很多 IO 操作

那么这个断线重连的是怎么实现的呢?

部分重同步(断线重连)的实现

redis 的部分重同步借助了4个变量:

  1. 服务器的运行 ID (run ID)

    • 当实例重启时,会生成40个随机的十六进制字符
  1. 主服务器的复制积压缓冲区(replication backlog)

    • 主服务器每将一个命令传送给从数据库,都会将命令放到一个积压队列(固定长度的循环队列)中
  1. 主服务器的复制偏移量(replication offset)

    • 主服务器将命令放到积压队列中时,会记录下当前命令的偏移量,并发送给从服务器
  1. 从服务器的复制偏移量

    • 从服务器接收到主服务器发送过来的命令与偏移量

也许将这4个变量列出来之后,有读者就可以直接想象出来是怎么实现的了,对,没错,就是这么实现的

过程:

部分重同步流程

步骤 主服务器 从服务器
1   发送命令 PSYNC 主数据库的运行ID 断开前最新的命令偏移量
  判断 1. 运行ID是否能够对应 2. 断开前最新的命令偏移量是否在队列中 满足上述条件可以执行部分重同步,否则执行完全同步  
2 发送给从数据库偏移量之后的命令  
3   执行命令

总结

redis 在很多细节上优化了性能,主从同步(复制)的优化只是其中的一方面。

原文地址:https://www.cnblogs.com/wdy1184/p/11623543.html

时间: 2024-10-13 02:48:20

Redis 的主从同步(复制)的相关文章

ssdb 主从同步复制配置详细步骤

SSDB 的配置文件是一种层级 key-value 的静态配置文件, 通过一个 TAB 缩进来表示层级关系. 以 '#' 号开始的行是注释.  ssdb的使用遵循redis协议,读写性能都特别快. 有时我们在使用数据库时,像mongodb,redis和一些关系行数据,为了使数据更加安全,作为备份使用我们经常习惯使用主从复制架构,当主机上的数据出现问题时,我们就可以连接到slave机器 也就是另外一台机器会从主机上进行同步数据,如果我们使用linux命令 netstat -apn,会发现slave

MySQL的3节点主从同步复制方案

上篇文章<为什么要对MySQL做主从同步复制>我们说明了MySQL主从同步的作用,主从同步的原理和主从同步的缺点.下面我们介绍下3节点中:2个节点互为主从,1个节点作为前2个节点的从,用于实现MySQL5.6的3节点主从同步复制方案. 主要步骤如下: 1.配置MasterA端同步复制时所需要的选项 2.在MasterA主库上创建同步复制时的用户并授权 3.MasterA主库锁表 4.记录MasterA主库的binlog以及pos位置节点 5.导出MasterA主库m_s_rep数据库 6.配置

MySQL的3节点主从同步复制方案测试

上接<MySQL的3节点主从同步复制方案> 六.测试主从同步复制 现在我们来测试下,mysql的主从同步. 1.在主库插入测试数据 先在主库MasterA 上给m_s_rep数据库插入和删除2条数据.如下: mysql> insert into test(id,content) values(3,'data3'); mysql> insert into test(id,content) values(2,'data2'); mysql> select * from test;

mysql5.5主从同步复制配置

在上篇文章<烂泥:学习mysql数据库主从同步复制原理>中,我们介绍了有关mysql主从复制的基本原理.在这篇文章中,我们来实际测试下mysql5.5的主从同步复制功能. 注意mysql5.1.7以前版本与其以后的版本在主从同步部分参数不同.mysql5.1.7以后的版本中不支持master-connect-retry之类的参数.如果在my.cnf文件中加入该类似的参数,mysql会在下次重启时报错. 说明:主库master与从库slave都是centos6.5 64bit,如下: cat /

烂泥:mysql5.5主从同步复制配置

本文首发于烂泥行天下. 在上篇文章<烂泥:学习mysql数据库主从同步复制原理>中,我们介绍了有关mysql主从复制的基本原理.在这篇文章中,我们来实际测试下mysql5.5的主从同步复制功能. 注意mysql5.1.7以前版本与其以后的版本在主从同步部分参数不同.mysql5.1.7以后的版本中不支持master-connect-retry之类的参数.如果在my.cnf文件中加入该类似的参数,mysql会在下次重启时报错. 说明:主库master与从库slave都是centos6.5 64b

Redis之主从同步

同步 Redis为什么要实现主从同步? 主从同步,有以下好处: 实现数据的备份,减少单点故障带来的损失: 有利于实现负载均衡.本来一台服务器负责所有数据的读写,而通过主从同步,可以让多个从服务器负责数据的读,而主服务器主要负责数据的写,减轻了单点压力. 部分重同步 Redis从2.8开始,引入了PSYNC,支持部分重同步:主服务器和从服务器断开连接这段时间,主服务器的数据可能只是发生了少量的变化,那么当从服务器重新连上主服务器时,就没有必要把主服务器里面的数据全部发给从服务器进行数据覆盖,只需要

MySQL主从同步(复制)的配置

1.主从复制的原理: *Master,记录数据更改操作 - 启用binlog记录模式 - 允许Slave读取binlog日志 *Slave运行2个同步线程 - Slave_IO:负责连接Master,复制其binlog日志文件到本机的relay-log文件 - Slave_SQL:执行本机relay-log文件里的SQL语句,重现Master的数据操作 2.基本构建思路: 1)初始化现有库:将主库导入从库,确保数据一致性 2)配置Master,主服务器:调整运行参数,授权一个同步用户 3)配置S

Redis的主从同步手动执行故障切换

1.准备三个redis配置文件,通过端口的区分,启动三个redis数据库实例,然后配置主从复制. # a6371.conf port 6371 daemonize yes pidfile /data/6371/redis.pid loglevel notice logfile "/data/6371/redis.log" dbfilename 6371.rdb dir /data/6371 # a6372.conf #通过命令快速生成配置文件 sed "s/6373/6371

烂泥:学习mysql数据库主从同步复制原理

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 说明本篇文章部分转载自互联网. MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能.更高可靠性要求的场合.与之对应的是另一个同步技术是MySQL Cluster,但因为MySQL Cluster配置比较复杂,所以使用者较少. MySQL的Replication是一个异步复制的过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),它是从一个Mysql