第十三章 redis-cluster原理

一、基本定义

  • 虚拟槽slot分区算法,优点是扩容缩容简单:直接把slot及每个slot上的数据进行缩放即可
  • redis定义了0-16383(总共为16384个slot,即214个slot)
  • slot会均匀的分配在主节点上。假设是3主3从集群,每个master管理的slot个数分别为5461,5462,5461个。
  • 映射:计算一个key在哪个slot上,公式slot=CRC16(key)&16383
    • 在n=2m时,x&(n-1)=x%n,这就是redis为什么定义2n个slot
  • xx

二、集群搭建过程(3主3从)- 手动

  • 准备节点

    • 配置节点后,启动单个节点,此时每个节点都是单独处在一个集群中
  • 节点握手(假设6379与6380握手)
    • 命令:cluster meet ip port
    • 过程:
      • 节点6379本地创建6380节点信息对象,并发送meet消息
      • 节点6380接收到meet消息后,保存节点6379的节点信息并回复pong消息(此时握手成功)
      • 之后节点6379和节点6380彼此定期通过ping/pong消息进行正常的节点通信
    • 在cluster内的任一节点执行cluster meet命令加入新节点。握手状态会通过消息在集群内传播(gossip协议),这样其他节点会自动发现新节点并发起握手流程
  • 为主节点分配槽
    • 命令:cluster addslots {0...5460}
    • 注意:主节点尽量选择不同IP
  • 为主节点分配从节点
    • 从节点作用:复制主节点slot信息和相关的数据;故障转移
    • 命令:在从节点上执行cluster replicate {master-nodeId}
    • 尽可能保证主从节点不在同一个机器上

三、集群搭建过程(3主3从)- 自动

第十二章 redis-cluster搭建(redis-3.2.5)

四、节点通信

  • gossip协议:节点之间彼此不断通信交换信息,一段时间后所有节点都会知道集群完整的信息。
  • 通信过程:
    • cluster中的每个node都会单独开辟一个TCP通道(通信端口号在基础端口号上加10000,例如16379),用于节点之间彼此通信
    • 每个节点在固定周期内通过特定规则选择几个节点发送ping消息
    • 接收到ping消息的节点用pong消息作为响应

五、请求路由

  • 根据key计算slot:计算一个key在哪个slot上,公式slot=CRC16(key)&16383
  • 根据slot查找slot所在节点:集群内每个节点都知道所有节点的slot信息(相当于节点的本地缓存),根据slot可以直接找出所在的node
  • 如果slot所在的节点正好是接受命令的当前节点,那么直接执行;如果不是,返回MOVED slot ip port(之后客户端要再去连接该机器,再执行命令)

智能客户端:

  • 客户端本地会缓存一份hashmap<slot, node>,MOVED slot ip port可以用来帮助缓存的刷新
时间: 2024-11-16 21:58:26

第十三章 redis-cluster原理的相关文章

全面剖析Redis Cluster原理和应用

全面剖析Redis Cluster原理和应用 1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最核心的目标有三个: 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式.异步复制.客户端重定向等设计,而牺牲了部分的一致性.使用性. 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点. 可用性:在Cl

全面剖析Redis Cluster原理和应用 (转)

1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最核心的目标有三个: 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式.异步复制.客户端重定向等设计,而牺牲了部分的一致性.使用性. 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点. 可用性:在Cluster推出之前,可用性要靠Sentinel

Redis Cluster 原理详解,应付面试官就看这一篇!

Redis 缓存作为使用最多的缓存工具被各大厂商争相使用.通常我们会使用单体的 Redis 应用作为缓存服务,为了保证其高可用还会使用主从模式(Master-Slave),又或者是读写分离的设计.但是当缓存数据量增加以后,无法用单体服务器承载缓存服务时,就需要对缓存服务进行扩展.将需要缓存的数据切分成不同的分区,将数据分区放到不同的服务器中,用分布式的缓存来承载高并发的缓存访问.恰好 Redis Cluster 方案刚好支持这部分功能. 今天就来一起看看 Redis Cluster 的核心原理和

Redis Cluster原理简单学习

在一个如以下列表三主三从的Redis Cluster中,集群中每个节点会在内存中保存一张关于集群信息的ClusterState和ClusterNode结构,如下所示. 主机名 IP地址 角色 redis-master-01 172.16.101.54 Master redis-master-02 172.16.101.55 Master redis-master-03 172.16.101.56 Master redis-slave-01 172.16.101.58 Slave(Master:1

Redis Cluster原理

一.Redis集群 Redis的集群实现是内置数据自动分片机制,集群内部将所有的key映射到16384个Slot中,集群中的每个Redis Instance负责其中的一部分的Slot的读写.集群客户端连接集群中任一Redis Instance即可发送命令,当Redis Instance收到自己不负责的Slot的请求时,会将负责请求Key所在Slot的Redis Instance地址返回给客户端,客户端收到后自动将原请求重新发往这个地址,对外部透明.一个Key到底属于哪个Slot由crc16(ke

Redis Cluster 集群使用(3)

简介 Redis3.0版本之前,可以通过Redis Sentinel(哨兵)来实现高可用(HA),从3.0版本之后,官方推出了Redis Cluster,它的主要用途是实现数据分片(Data Sharding),不过同样可以实现HA,是官方当前推荐的方案.在Redis Sentinel模式中,每个节点需要保存全量数据,冗余比较多,而在Redis Cluster模式中,每个分片只需要保存一部分的数据,对于内存数据库来说,还是要尽量的减少冗余.在数据量太大的情况下,故障恢复需要较长时间. Redis

Redis Essentials 读书笔记 - 第九章: Redis Cluster and Redis Sentinel (Collective Intelligence)

Chapter 9. Redis Cluster and Redis Sentinel (Collective Intelligence) 上一章介绍了复制,一个master可以对应一个或多个slave(replica), 在以下的情况下是够用的: 1. master有足够内存容纳所有key 2. 通过slave可以扩展读,解决网络吞吐量的问题 3. 允许停止master的维护窗口时间 4. 通过slave做数据冗余 但复制解决不了自动failover和自动resharding的问题,在以下的情

Redis cluster集群原理及搭建

一.集群原理 架构 Redis cluster使用去中心化的思想,整个集群是分布式的.所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. 客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,只要连接集群中任意一个可用节点即可. Redis集群数据分片(Redis cluster data sharding)不使用一致性哈希算法,而是采用哈希槽(hash slot)的方式.集群中内置了 16384 个哈希槽(编号0-1638

Redis cluster的核心原理分析

一.节点间的内部通信机制 1.基础通信原理 (1)redis cluster节点间采取gossip协议进行通信 跟集中式不同,不是将集群元数据(节点信息,故障,等等)集中存储在某个节点上,而是互相之间不断通信,保持整个集群所有节点的数据是完整的 维护集群的元数据用得,集中式,一种叫做gossip 集中式:好处在于,元数据的更新和读取,时效性非常好,一旦元数据出现了变更,立即就更新到集中式的存储中,其他节点读取的时候立即就可以感知到; 不好在于,所有的元数据的跟新压力全部集中在一个地方,可能会导致

Redis cluster集群模式的原理

redis cluster redis cluster是Redis的分布式解决方案,在3.0版本推出后有效地解决了redis分布式方面的需求 自动将数据进行分片,每个master上放一部分数据 提供内置的高可用支持,部分master不可用时,还是可以继续工作的 支撑N个redis master node,每个master node都可以挂载多个slave node 高可用,因为每个master都有salve节点,那么如果mater挂掉,redis cluster这套机制,就会自动将某个slave