Redis主从复制以及主从复制原理

Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦
可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010
年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月
开始,Redis 的开发由 Pivotal 赞助。

概述

在现有企业中 80%公司大部分使用的是 redis 单机服务,在实际的场景当中单一节点的

redis 容易面临风险。

面临问题

1. 机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另

外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基

本上也就不会使用 Redis 了。

2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,

单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。

解决办法

要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据

库的数据分别存储到其他多个网络节点上。

Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到

其他节点上进行复制,实现 Redis 的高可用,实现对数据的冗余备份,

从而保证数据和服务的高可用。

主从复制

什么是主从复制

主从复制,是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主

节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。

默认情况下,每台 Redis 服务器都是主节点;且一个主节点可以有多个从节点(或没有

从节点),但一个从节点只能有一个主节点。

主从复制的作用

1. 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

2. 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢

复;实际上是一种服务的冗余。

3. 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,

由从节点提供读服务(即写 Redis 数据时应用连接主节点,读 Redis 数据时应用

连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点

分担读负载,可以大大提高 Redis 服务器的并发量。

4. 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高

服务器的负载能力,同时可根据需求的变化,改变从库的数量;

5. 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,

因此说主从复制是 Redis 高可用的基础。

主从复制启用

从节点开启主从复制,有 3 种方式:

1. 配 置 文 件 : 在 从 服 务 器 的 配 置 文 件 中 加 入 : slaveof <masterip>

<masterport>

2. 启动命令: redis-server 启 动 命 令 后 加 入 --slaveof <masterip>

<masterport>

3. 客户端命令: Redis 服务器启动后,直接通过客户端执行命令:slaveof

<masterip>

<masterport>,则该 Redis 实例成为从节点。

通过 info replication 命令可以看到复制的一些信息主从复制原理

主从复制过程大体可以分为 3 个阶段:连接建立阶段(即准备阶段)、数据同步阶段、

命令传播阶段。在从节点执行 slaveof 命令后,复制过程便开始运作,下面图示大概可以看到,

从图中可以看出复制过程大致分为 6 个过程

主从配置之后的日志记录也可以看出这个流程

1)保存主节点(master)信息。

执行 slaveof 后 Redis 会打印如下日志:

2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现

存在新的主节点后,会尝试与该节点建立网络连接

从节点与主节点建立网络连接

从节点会建立一个 socket 套接字,从节点建立了一个端口为 51234 的套接字,专门

用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:

如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 slaveof no

one 取消复制关于连接失败,可以在从节点执行 info replication 查看

master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从

节点连接主节点失败时也会每秒打印如下日志,方便发现问题:

# Error condition on socket for SYNC: {socket_error_reason}

3)发送 ping 命令。

连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:

·检测主从之间网络套接字是否可用。

·检测主节点当前是否可接受处理命令。

如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超

时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重

从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:

4)权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配

置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终

止,从节点重新发起复制流程。

5)同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持

有的数据全部发送给从节点,这部分操作是耗时最长的步骤。

6)命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。

接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。

推荐阅读:

swoole通往大神之路——swoole任务中心说明及进程任务架构搭建

原文地址:https://www.cnblogs.com/a609251438/p/12173786.html

时间: 2024-10-08 11:06:47

Redis主从复制以及主从复制原理的相关文章

九爷带你了解 mysql 主从复制的 工作原理

mysql 主从复制原理 主从形式 mysql主从复制 灵活 一主一从 主主复制 一主多从---扩展系统读取的性能,因为读是在从库读取的: 多主一从---5.7开始支持 联级复制--- 用途及条件 mysql主从复制用途 实时灾备,用于故障切换 读写分离,提供查询服务 备份,避免影响业务 主从部署必要条件: 主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库 主从原理 mysql主从复制原理 从库生成两个线程,一个I/O线程,一个SQL线程: i

Redis中的主从复制

上一篇简单的介绍了Redis中的快照,那么这篇来了解一下redis中的主从复制,不得不说redis中的主从复制配置起来相当的简单,用来降低每个redis服务器的负载,并启动主从模式,一个服务器负载"写"数据,其他服务器负载"读"数据,并且主服务器数据会"自动"同步给从服务器. 下面就来简单的配置一下 同样需要编辑redis.conf文件 在上面指定从的ip和端口号即可,当然配置好后,那么默认的从服务器是没有写入的权限的,需要修改以下配置

Redis——安全设置&amp;主从复制

一.    安全设置 我们前面的所有操作都没有进行安全认证,即,只要你连上Redis的server你就可以为所欲为.这样显然是不合理的.下面我们就设置客户端连接server后进行任何操作都需要密码验证. 注意,因为Redis速度相当快,前面我们说过它的set操作每秒钟可达110000(11万)次,get操作每秒钟可达81000次(当然不同的服务器配置性能不同).如果在一台比较好的服务器下,一个外部用户一秒钟就可以进行15K次的密码尝试,这意味着你需要指定非常非常强大的密码来防止暴力破解. 1.1

redis 之redis-sentinel主从复制高可用

一.redis主从复制背景问题 Redis主从复制可将主节点数据同步给从节点,从节点此时有两个作用: (1)一旦主节点宕机,从节点作为主节点的备份可以随时顶上来. (2)扩展主节点的读能力,分担主节点读压力. 但是问题是: 一旦主节点宕机,从节点上位,那么需要人为修改所有应用方的主节点地址(改为新的master地址),还需要命令所有从节点复制新的主节点 那么这个问题,redis-sentinel就可以解决了 二. Redis-Sentinel Redis-Sentinel是redis官方推荐的高

基于Docker的MySQL主从复制搭建及原理

为什么基于Docker搭建? 资源有限 虚拟机搭建对机器配置有要求,并且安装mysql步骤繁琐 一台机器上可以运行多个Docker容器 Docker容器之间相互独立,有独立ip,互不冲突 Docker使用步骤简便,启动容器在秒级别 利用Docker搭建主从服务器 首先拉取docker镜像,我们这里使用5.7版本的mysql: docker pull mysql:5.7 然后使用此镜像启动容器,这里需要分别启动主从两个容器 Master(主): docker run -p 3339:3306 --

redis 安装及主从复制

安装redis下载redis源码,并进行相关操作,如下:wget http://download.redis.io/releases/redis-3.2.3.tar.gz解压安装redis[[email protected] ~]# tar zxf redis-3.2.3.tar.gz解压完毕后,现在开始安装,如下:[[email protected] ~]# cd redis-3.2.3/[[email protected] redis-3.2.3]# make&& make insta

Redis集群分片原理及选举流程

Redis集群分片原理及选举流程 集群分片模式 如果Redis只用复制功能做主从,那么当数据量巨大的情况下,单机情况下可能已经承受不下一份数据,更不用说是主从都要各自保存一份完整的数据.在这种情况下,数据分片是一个非常好的解决办法. Redis的Cluster正是用于解决该问题.它主要提供两个功能: 自动对数据分片,落到各个节点上 即使集群部分节点失效或者连接不上,依然可以继续处理命令 对于第二点,它的功能有点类似于Sentienl的故障转移,在这里不细说.下面详细了解下Redis的槽位分片原理

Redlock(redis分布式锁)原理分析

Redlock:全名叫做 Redis Distributed Lock;即使用redis实现的分布式锁: 使用场景:多个服务间保证同一时刻同一时间段内同一用户只能有一个请求(防止关键业务出现并发攻击): 官网文档地址如下:https://redis.io/topics/distlock 这个锁的算法实现了多redis实例的情况,相对于单redis节点来说,优点在于 防止了 单节点故障造成整个服务停止运行的情况:并且在多节点中锁的设计,及多节点同时崩溃等各种意外情况有自己独特的设计方法: 此博客或

深入理解Redis主键失效原理及实现机制(转)

原文:深入理解Redis主键失效原理及实现机制 作为一种定期清理无效数据的重要机制,主键失效存在于大多数缓存系统中,Redis 也不例外.在 Redis 提供的诸多命令中,EXPIRE.EXPIREAT.PEXPIRE.PEXPIREAT 以及 SETEX 和 PSETEX 均可以用来设置一条 Key-Value 对的失效时间,而一条 Key-Value 对一旦被关联了失效时间就会在到期后自动删除(或者说变得无法访问更为准确).可以说,主键失效这个概念还是比较容易理解的,但是在具体实现到 Red

Redis有序集内部实现原理分析(二)

Redis:https://github.com/zwjlpeng/Redis_Deep_Read 本篇博文紧随上篇Redis有序集内部实现原理分析,在这篇博文里凡出现源码的地方均以下述src/version.h中定义的Redis版本为主 #define REDIS_VERSION "2.9.11" 在上篇博文Redis有序集内部实现原理分析中,我分析了Redis从什么时候开始支持有序集.跳表的原理.跳表的结构.跳表的查找/插入/删除的实现,理解了跳表的基本结构,理解Redis中有序集