Redis Cluster 的实现 - 初始化(1)

首先从 redis.c 源码的 main() 函数开始, 在调用的 initServer 函数中除了初始化 redis 节点本身的一些配置和环境之外,会根据是否设置 cluster_enabled 参数来对 cluster 进行初始化,如下:

initServer 
  // 也就是 redis.conf 配置中的参数 cluster-enabled 如果设置为 yes,则进入 cluster 模式
  -> if (server.cluster_enabled) clusterInit();

下面看一下 clusterInit 函数如何将 redis 带入 cluster 模式的:

void clusterInit(void) {
    int saveconf = 0;
    
    /* 对 redisServer 结构中的 clusterState 进行初始化 */
    server.cluster = zmalloc(sizeof(clusterState));
    server.cluster->myself = NULL;
    server.cluster->currentEpoch = 0;
    // 初始为 FAIL 状态
    server.cluster->state = REDIS_CLUSTER_FAIL;
    // master 节点数
    server.cluster->size = 1;
    server.cluster->todo_before_sleep = 0;
    server.cluster->nodes = dictCreate(&clusterNodesDictType,NULL);
    server.cluster->nodes_black_list =
        dictCreate(&clusterNodesBlackListDictType,NULL);
    server.cluster->failover_auth_time = 0;
    server.cluster->failover_auth_count = 0;
    server.cluster->failover_auth_rank = 0;
    server.cluster->failover_auth_epoch = 0;
    server.cluster->lastVoteEpoch = 0;
    server.cluster->stats_bus_messages_sent = 0;
    server.cluster->stats_bus_messages_received = 0;
    memset(server.cluster->slots,0, sizeof(server.cluster->slots));
    clusterCloseAllSlots();
    /* Lock the cluster config file to make sure every node uses
     * its own nodes.conf. */
    if (clusterLockConfig(server.cluster_configfile) == REDIS_ERR)
        exit(1);
    /* Load or create a new nodes configuration. */
    
    // 加载或创建一个新的 节点配置 文件
    // 如果加载失败,则通过 createClusterNode 来创建一个 flags = MYSELF|MASTER 的新节点
    if (clusterLoadConfig(server.cluster_configfile) == REDIS_ERR) {
        /* No configuration found. We will just use the random name provided
         * by the createClusterNode() function. */
        myself = server.cluster->myself =
            createClusterNode(NULL,REDIS_NODE_MYSELF|REDIS_NODE_MASTER);
        redisLog(REDIS_NOTICE,"No cluster configuration found, I‘m %.40s",
            myself->name);
            
        // 将此节点加入 cluster 的 nodes hash table 中
        // 该 nodes 维护的是一张 nodeName -> node 的 hash 表
        clusterAddNode(myself);
        saveconf = 1;
    }
    
    // 具体的配置文件名由参数 cluster-config-file 来指定
    if (saveconf) clusterSaveConfigOrDie(1);
    /* We need a listening TCP port for our cluster messaging needs. */
    server.cfd_count = 0;
    /* Port sanity check II
     * The other handshake port check is triggered too late to stop
     * us from trying to use a too-high cluster port number. */
    // 这里是做端口校验,要求 redis 面向客户端的监听端口必须小于 55535,这样才能避免出现
    // cluster 通道的监听端口 > 65535 的情形
    if (server.port > (65535-REDIS_CLUSTER_PORT_INCR)) {
        redisLog(REDIS_WARNING, "Redis port number too high. "
                   "Cluster communication port is 10,000 port "
                   "numbers higher than your Redis port. "
                   "Your Redis port number must be "
                   "lower than 55535.");
        exit(1);
    }
    
    // 打开 cluster 通道的 非阻塞监听端口
    if (listenToPort(server.port+REDIS_CLUSTER_PORT_INCR,
        server.cfd,&server.cfd_count) == REDIS_ERR)
    {
        exit(1);
    } else {
        int j;
        
        // 在一个或多个非阻塞监听套接字上创建 ACCEPT 事件处理器
        // 可以根据系统平台选择合适的 事件模型(如:Linux 上的 epoll,具体查看 aeApiAddEvent 源码)
        // 这里指定了 clusterAcceptHandler 函数作为 ACCEPT 事件处理器
        for (j = 0; j < server.cfd_count; j++) {
            if (aeCreateFileEvent(server.el, server.cfd[j], AE_READABLE,
                clusterAcceptHandler, NULL) == AE_ERR)
                    redisPanic("Unrecoverable error creating Redis Cluster "
                                "file event.");
        }
    }
    /* The slots -> keys map is a sorted set. Init it. */
    server.cluster->slots_to_keys = zslCreate();
    /* Set myself->port to my listening port, we‘ll just need to discover
     * the IP address via MEET messages. */
    myself->port = server.port;
    resetManualFailover();
}

从该部分源码可以看出 Redis Cluster 初始化部分的核心主要是 nodes.conf 的加载,以及 cluster bus 通道的监听服务的启动 这两部分:

1,nodes.conf 的加载或创建:从源码中可以看到是首先加载节点配置(查看 clusterLoadConfig() 函数实现,这里不做展开),如果不存在或文件内容长度为0,则新创建该节点配置,并且初始创建只是包含本节点的配置信息。nodes.conf 配置示例如下:

$ cat nodes.conf
8868592d98d84b7cf5752cc0b97af4ac807d1a12 127.0.0.1:7007 slave bfc910f924d772fe03d9fe6a19aabd73d5730d26 0 1410882108055 8 connected
f5bdda1518cd3826100a30f5953ed82a5861ed48 127.0.0.1:7002 slave bfc910f924d772fe03d9fe6a19aabd73d5730d26 0 1410882107151 8 connected
82578e8ec9747e46cbb4b8cc2484c71b9b2c91f4 127.0.0.1:7001 master - 0 1410882106146 2 connected 6461-10922
61dfb1055760d5dcf6519e35435d60dc5b207940 127.0.0.1:7004 slave 82578e8ec9747e46cbb4b8cc2484c71b9b2c91f4 0 1410882107651 5 connected
6d1ebedad33bb31ffbaa99bad095eef4a5920857 127.0.0.1:7006 master - 0 1410882106648 0 connected
bfc910f924d772fe03d9fe6a19aabd73d5730d26 127.0.0.1:7005 master - 0 1410882106648 8 connected 11923-16383
35e0f6fdadbf81a00a1d6d1843698613e653867b 127.0.0.1:7003 slave 123ed65d59ff22370f2f09546f410d31207789f6 0 1410882106146 7 connected
123ed65d59ff22370f2f09546f410d31207789f6 127.0.0.1:7000 myself,master - 0 0 7 connected 0-6460 10923-11922
vars currentEpoch 8 lastVoteEpoch 8

可以看到这里列出了两种类型的信息:
 
  1) 集群中所有节点的配置信息,各字段分别是:
 
    0   NodeID:6d1ebedad33bb31ffbaa99bad095eef4a5920857
    1   节点的IP:Port:127.0.0.1:7006
    2   flag:标识节点的一些选项,可选的值为 master|slave|myself|fail|fail?|handshake|noaddr|noflags,对应于 clusterNode.flags
    3   master 节点ID:如果为 slave 节点,则显示出 master 节点的标识,否则显示 - 表示该节点为 master 节点
    4   最近一次发送 ping 的时间
    5   最近一次接收 pong 的时间
    6   configEpoch
    7   连接状态
    8   对于 master 节点,最后一个字段记录了处理的 slots 范围; 对于 migration, 格式为 [slots-> nodeId,表示将 slots 指定的槽位迁移到 nodeId 上去;
 
  2) vars 开头的行,当前主要记录了两个变量 currentEpoch 和 lastVoteEpoch 的值(下面单独分析 epoch)

时间: 2024-10-13 11:11:00

Redis Cluster 的实现 - 初始化(1)的相关文章

Redis Cluster 的实现 - 初始化(2)

2) 在监听套接口上通过调用 aeCreateFileEvent() 设置事件处理器,从签名的调用可以看到设置的 ACCEPT 事件处理器为 clusterAcceptHandler(), aeCreateFileEvent(server.el, server.cfd[j], AE_READABLE, clusterAcceptHandler, NULL); // 设置事件处理器     int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, 

JFinal redis cluster集群插件

JFinal 框架到了2.1版本号,可是依旧仅仅支持redis的主从集群,没有看到Cluster集群的插件.笔者照着主从的插件方式,改了改,实现了个简单的插件,先使用起来,兴许会更新完好版本号. 插件地址:点击打开链接 附上源代码: package com.sxt.jfinal.rediscluster; import java.util.Set; import org.apache.commons.pool2.impl.GenericObjectPoolConfig; import redis

安全稳定实现redis cluster自动化迁移

背景 目前redis集群最火的是codis和redis cluster(官方),但官方自带工具并没有支持密码操作.那么需要密码认证使用redis cluster集群的同学要仔细看了哦. 相信大家很多人已经使用了redis cluster,而且也肯定会用到核心应用,你是否考虑过如下问题? redis cluster无密码,被改数据 redis cluster无密码,被flushall (你是否有要哭的冲动哈哈) redis cluster无密码,数据在光天化日(你对用户不负责) redis clu

Redis Cluster的实现和管理

Redis Cluster在redis3.0版本以上开始支持,以ruby环境运行.他可以把多个redis实例整合在一起,形成一个集群,集群内分配slot(分片槽),实现数据的分片存放.客户端只要以集群的模式连接上集群内任意一个节点,就可以操作整个集群. 集群角色有Master和Slave.Master之间分配slots,一共16384个slot.Slave向它指定的Master同步数据,实现备份.当其中的一个Master无法提供服务时,该Master的Slave讲提升为Master,保证集群间s

Redis Essentials 读书笔记 - 第九章: Redis Cluster and Redis Sentinel (Collective Intelligence)

Chapter 9. Redis Cluster and Redis Sentinel (Collective Intelligence) 上一章介绍了复制,一个master可以对应一个或多个slave(replica), 在以下的情况下是够用的: 1. master有足够内存容纳所有key 2. 通过slave可以扩展读,解决网络吞吐量的问题 3. 允许停止master的维护窗口时间 4. 通过slave做数据冗余 但复制解决不了自动failover和自动resharding的问题,在以下的情

Jedis cluster集群初始化源码剖析

Jedis cluster集群初始化源码剖析 环境 jar版本: spring-data-redis-1.8.4-RELEASE.jar.jedis-2.9.0.jar 测试环境: Redis 3.2.8,八个集群节点 applicationContext-redis-cluster.xml 配置文件: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.spri

高可用Redis(十二):Redis Cluster

Redis Cluster是Redis官方提供的Redis集群功能 1.为什么要实现Redis Cluster 1.主从复制不能实现高可用 2.随着公司发展,用户数量增多,并发越来越多,业务需要更高的QPS,而主从复制中单机的QPS可能无法满足业务需求 3.数据量的考虑,现有服务器内存不能满足业务数据的需要时,单纯向服务器添加内存不能达到要求,此时需要考虑分布式需求,把数据分布到不同服务器上 4.网络流量需求:业务的流量已经超过服务器的网卡的上限值,可以考虑使用分布式来进行分流 5.离线计算,需

Redis Cluster 集群使用(3)

简介 Redis3.0版本之前,可以通过Redis Sentinel(哨兵)来实现高可用(HA),从3.0版本之后,官方推出了Redis Cluster,它的主要用途是实现数据分片(Data Sharding),不过同样可以实现HA,是官方当前推荐的方案.在Redis Sentinel模式中,每个节点需要保存全量数据,冗余比较多,而在Redis Cluster模式中,每个分片只需要保存一部分的数据,对于内存数据库来说,还是要尽量的减少冗余.在数据量太大的情况下,故障恢复需要较长时间. Redis

Kubernetes 通过statefulset部署redis cluster集群

Kubernetes 通过statefulset部署redis cluster集群 作者: 张首富 时间: 2019-02-19 个人博客地址: https://www.zhangshoufu.com QQ群: 895291458 需要有redis基础 Redis集群架构图 每个Mater 都可以拥有多个slave.当Master掉线后,redis cluster集群会从多个Slave中选举出来一个新的Matser作为代替,而旧的Master重新上线后变成 Master 的Slave. 部署re