Redis(五)、Redis数据库集群相关

Redis数据库集群

第1章 集群简介

Redis 集群是一个分布式(distributed)、容错(fault-tolerant)的 Redis 实现, 集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集(subset),是一个可以在多个 Redis 节点之间进行数据共享的设施(installation)。

Redis 集群中不存在中心(central)节点或者代理(proxy)节点, 集群的其中一个主要设计目标是达到线性可扩展性(linear scalability)。

Redis 集群不支持那些需要同时处理多个键的 Redis 命令, 因为执行这些命令需要在多个 Redis 节点之间移动数据, 并且在高负载的情况下, 这些命令将降低 Redis 集群的性能, 并导致不可预测的行为。

Redis 集群通过分区(partition)来提供一定程度的可用性(availability): 即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。

Redis 集群提供了以下两个好处:

q  将数据自动切分(split)到多个节点的能力。

q  当集群中的一部分节点失效或者无法进行通讯时, 仍然可以继续处理命令请求的能力。

第2章 集群数据共享

Redis 集群使用数据分片(sharding)而非一致性哈希(consistency hashing)来实现: 一个 Redis 集群包含 16384 个哈希槽(hash slot), 数据库中的每个键都属于这 16384 个哈希槽的其中一个, 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

集群中的每个节点负责处理一部分哈希槽。 举个例子, 一个集群可以有三个哈希槽, 其中:

节点 A 负责处理 0 号至 5500 号哈希槽。

节点 B 负责处理 5501 号至 11000 号哈希槽。

节点 C 负责处理 11001 号至 16384 号哈希槽。

这种将哈希槽分布到不同节点的做法使得用户可以很容易地向集群中添加或者删除节点。 比如说,如果用户将新节点 D 添加到集群中, 那么集群只需要将节点 A 、B 、 C 中的某些槽移动到节点 D 就可以了。与此类似, 如果用户要从集群中移除节点 A , 那么集群只需要将节点 A 中的所有哈希槽移动到节点 B 和节点 C , 然后再移除空白(不包含任何哈希槽)的节点 A 就可以了。

因为将一个哈希槽从一个节点移动到另一个节点不会造成节点阻塞, 所以无论是添加新节点还是移除已存在节点, 又或者改变某个节点包含的哈希槽数量, 都不会造成集群下线。

第3章 集群中的主从复制

为了使得集群在一部分节点下线或者无法与集群的大多数(majority)节点进行通讯的情况下, 仍然可以正常运作, Redis 集群对节点使用了主从复制功能: 集群中的每个节点都有 1 个至 N 个复制品(replica), 其中一个复制品为主节点(master), 而其余的 N-1 个复制品为从节点(slave)。

在之前列举的节点 A 、B 、C 的例子中, 如果节点 B 下线了, 那么集群将无法正常运行, 因为集群找不到节点来处理 5501 号至 11000号的哈希槽。

另一方面, 假如在创建集群的时候(或者至少在节点 B 下线之前), 我们为主节点 B 添加了从节点 B1 , 那么当主节点 B 下线的时候, 集群就会将 B1 设置为新的主节点, 并让它代替下线的主节点 B , 继续处理 5501 号至 11000 号的哈希槽, 这样集群就不会因为主节点 B 的下线而无法正常运作了。不过如果节点 B 和 B1 都下线的话, Redis 集群还是会停止运作。

第4章 集群的一致性保证

Redis 集群不保证数据的强一致性(strong consistency): 在特定条件下, Redis 集群可能会丢失已经被执行过的写命令。

使用异步复制(asynchronous replication)是 Redis 集群可能会丢失写命令的其中一个原因。 考虑以下这个写命令的例子:

1、客户端向主节点 B 发送一条写命令。

2、主节点 B 执行写命令,并向客户端返回命令回复。

3、主节点 B 将刚刚执行的写命令复制给它的从节点 B1 、 B2 和 B3 。

可见, 主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话,那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。

Redis 集群另外一种可能会丢失命令的情况是, 集群出现网络分裂(network partition), 并且一个客户端与至少包括一个主节点在内的少数(minority)实例被孤立。举个例子:

1、假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点,其中 A 、B 、C 为主节点,而 A1 、B1 、C1 分别为三个主节点的从节点, 另外还有一个客户端 Z1 。

2、假设集群中发生网络分裂, 那么集群可能会分裂为两方, 大多数(majority)的一方包含节点 A 、C 、A1 、B1 和 C1 , 而少数(minority)的一方则包含节点 B 和客户端 Z1 。

3、在网络分裂期间, 主节点 B 仍然会接受 Z1 发送的写命令:

4、如果网络分裂出现的时间很短, 那么集群会继续正常运行;

5、但是, 如果网络分裂出现的时间足够长, 使得大多数一方将从节点 B1 设置为新的主节点, 并使用 B1 来代替原来的主节点 B , 那么 Z1 发送给主节点 B 的写命令将丢失。

注意, 在网络分裂出现期间, 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的, 这一时间限制称为节点超时时间(node timeout), 是 Redis 集群的一个重要的配置选项。

q  对于大多数一方来说, 如果一个主节点未能在节点超时时间所设定的时限内重新联系上集群, 那么集群会将这个主节点视为下线, 并使用从节点来代替这个主节点继续工作。

q  对于少数一方, 如果一个主节点未能在节点超时时间所设定的时限内重新联系上集群, 那么它将停止处理写命令, 并向客户端报告错误。

第5章 创建并使用Redis集群

5.1 集群模式配置

Redis 集群由多个运行在集群模式(cluster mode)下的 Redis 实例组成, 实例的集群模式需要通过配置来开启, 开启集群模式的实例将可以使用集群特有的功能和命令。

以下是一个包含了最少选项的集群配置文件示例:

port 7000
cluster-enabled yes                     #<==打开实例的集群模式
cluster-config-file nodes.conf          #<==设定保存节点的配置文件,无需人为修改
cluster-node-timeout 5000               #<==集群节点超时时间
appendonly yes

5.2 安装Redis

普通安装过程与单节点一致,可用yum或者编译的方式安装,这里不再叙述。但是Redis集群模式会使用到redis-trib工具,这是一个ruby语言的工具,因此需要事先安装好ruby语言的执行环境。

yum -y  install ruby ruby-devel rubygems rpm-build

再用 gem 这个命令来安装 redis接口,gem是ruby的一个工具包.

gem install redis -v 3.2.1
1 gem installed
Installing ri documentation for redis-3.2.1...
Installing RDoc documentation for redis-3.2.1...

如果下载失败的话,可以去这个网址手动下载,再通过命令gem install命令手动安装

https://rubygems.org/gems/redis/versions/3.2.1

5.3 创建实例目录

本此实验环境为在单台主机上启动六个不同端口的实例,如果是分布在不同的机器上,则不需要。

mkdir /opt/redis/cluster/{7000..7005} -p

5.4 集群配置文件

将以下配置文件放入7000-7005六个目录中,注意修改每个目录下面对应的端口号。

#<==在原默认配置上进行修改
bind 10.0.0.16
port 7000
pidfile /var/run/redis_7000.pid
logfile "/opt/redis/cluster/7000/redis.log"
daemonize yes
appendonly yes
dir /opt/redis/cluster/7000
 
#新增集群的配置 
cluster-enabled yes
cluster-config-file /opt/redis/cluster/7000/nodes-7000.conf
cluster-node-timeout 15000
 
protected-mode yes
tcp-backlog 511
timeout 0
tcp-keepalive 300
supervised no
loglevel notice
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

5.5 分别启动实例

分别启动六个不同的实例:

./../../src/redis-server ../7000/redis.conf
./../../src/redis-server ../7001/redis.conf
./../../src/redis-server ../7002/redis.conf
./../../src/redis-server ../7003/redis.conf
./../../src/redis-server ../7004/redis.conf
./../../src/redis-server ../7005/redis.conf

查看实例运行情况:

[[email protected] 7000]# ps -ef |grep redis
root     108314      1  0 20:53 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7000 [cluster]
root     108322      1  0 20:54 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7001 [cluster]
root     108324      1  0 20:54 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7002 [cluster]
root     108328      1  0 20:54 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7003 [cluster]
root     108330      1  0 20:54 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7004 [cluster]
root     108332      1  0 20:54 ?        00:00:00 ./../../src/redis-server 10.0.0.16:7005 [cluster]

5.6 创建Redis集群

现在我们已经有了六个正在运行中的 Redis 实例, 接下来我们需要使用这些实例来创建集群, 并为每个节点编写配置文件。

通过使用 Redis 集群命令行工具 redis-trib , 编写节点配置文件的工作可以非常容易地完成: redis-trib 位于 Redis 源码的 src 文件夹中, 它是一个 Ruby 程序, 这个程序通过向实例发送特殊命令来完成创建新集群, 检查集群, 或者对集群进行重新分片(reshared)等工作。

集群创建命令:

./../../src/redis-trib.rb create --replicas 1 10.0.0.16:7000 10.0.0.16:7001 10.0.0.16:7002 10.0.0.16:7003 10.0.0.16:7004 10.0.0.16:7005

q  命令的意义如下:

create :                 这表示我们希望创建一个新的集群。

--replicas 1 :   表示我们希望为集群中的每个主节点创建一个从节点。

之后跟着的其他参数则是实例的地址列表, 我们希望程序使用这些地址所指示的实例来创建新集群。简单来说, 以上命令的意思就是让 redis-trib 程序创建一个包含三个主节点和三个从节点的集群。接着, redis-trib 会打印出一份预想中的配置给你看, 如果你觉得没问题的话, 就可以输入 yes , redis-trib 就会将这份配置应用到集群当中:

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
10.0.0.16:7000
10.0.0.16:7001
10.0.0.16:7002
Adding replica 10.0.0.16:7003 to 10.0.0.16:7000
Adding replica 10.0.0.16:7004 to 10.0.0.16:7001
Adding replica 10.0.0.16:7005 to 10.0.0.16:7002
M: 62d87bd83fd636e6ba1fe031777178cce8f9f776 10.0.0.16:7000
   slots:0-5460 (5461 slots) master
M: ccc65af4a214689b15d0cfd9dea584d214a0c2ad 10.0.0.16:7001
   slots:5461-10922 (5462 slots) master
M: 2366c6765ecf21ee86b064376693ce59047478a5 10.0.0.16:7002
   slots:10923-16383 (5461 slots) master
S: 19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003
   replicates 62d87bd83fd636e6ba1fe031777178cce8f9f776
S: 60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004
   replicates ccc65af4a214689b15d0cfd9dea584d214a0c2ad
S: 287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005
   replicates 2366c6765ecf21ee86b064376693ce59047478a5
Can I set the above configuration? (type 'yes' to accept):yes       #<==手动输入yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join..
>>> Performing Cluster Check (using node 10.0.0.16:7000)
M: 62d87bd83fd636e6ba1fe031777178cce8f9f776 10.0.0.16:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005
   slots: (0 slots) slave
   replicates 2366c6765ecf21ee86b064376693ce59047478a5
M: ccc65af4a214689b15d0cfd9dea584d214a0c2ad 10.0.0.16:7001
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: 2366c6765ecf21ee86b064376693ce59047478a5 10.0.0.16:7002
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004
   slots: (0 slots) slave
   replicates ccc65af4a214689b15d0cfd9dea584d214a0c2ad
S: 19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003
   slots: (0 slots) slave
   replicates 62d87bd83fd636e6ba1fe031777178cce8f9f776
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered. #<==这表示集群中的 16384个槽都有至少一个主节点在处理, 集群运作正常。

新集群创建完毕!!!

5.7 集群客户端实现

q  redis-rb-cluster

是antirez编写的 Ruby 实现, 用于作为其他实现的参考。 该实现是对 redis-rb 的一个简单包装, 高效地实现了与集群进行通讯所需的最少语义(semantic)。

q  redis-py-cluster

看上去是 redis-rb-cluster 的一个 Python 版本, 这个项目有一段时间没有更新了, 不过可以将这个项目用作学习集群的起点。

q  Predis

流行的 Predis 曾经对早期的 Redis 集群有过一定的支持, 但不确定它对现在集群的支持是否完整, 也不清楚它是否和最新版本的 Redis 集群兼容 (因为新版的 Redis 集群将槽的数量从 4k 改为 16k 了)。

q  redis-cli

Redis unstable 分支中的 redis-cli 程序实现了非常基本的集群支持,所以它总是依靠 Redis 集群节点来将它转向(redirect)至正确的节点。

使用 redis-cli 为例来进行演示:

10.0.0.16:7000> set foo bar
-> Redirected to slot [12182] located at 10.0.0.16:7002
OK
10.0.0.16:7002> set hello world
-> Redirected to slot [866] located at 10.0.0.16:7000
OK
10.0.0.16:7000> get foo
-> Redirected to slot [12182] located at 10.0.0.16:7002
"bar"
10.0.0.16:7002> get hello
-> Redirected to slot [866] located at 10.0.0.16:7000
"world"
10.0.0.16:7000>

第6章 集群重新分片

重新分片操作基本上就是将某些节点上的哈希槽移动到另外一些节点上面, 和创建集群一样, 重新分片也可以使用 redis-trib 程序来执行。

原hash槽分配:

10.0.0.16:7000---- 0-5460

10.0.0.16:7001---- 5461-10922

10.0.0.16:7002---- 10923-16383

q  执行以下命令可以开始一次重新分片操作:

./redis-trib.rb reshard 10.0.0.16:7000

你只需要指定集群中其中一个节点的地址, redis-trib 就会自动找到集群中的其他节点。目前 redis-trib 只能在管理员的协助下完成重新分片的工作, 要让 redis-trib 自动将哈希槽从一个节点移动到另一个节点, 目前来说还做不到。

q  设定打算移动哈希槽的数量

执行 redis-trib 的第一步就是设定你打算移动的哈希槽的数量:

>>> Performing Cluster Check (using node 10.0.0.16:7000)
M: 62d87bd83fd636e6ba1fe031777178cce8f9f776 10.0.0.16:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005
   slots: (0 slots) slave
   replicates 2366c6765ecf21ee86b064376693ce59047478a5
M: ccc65af4a214689b15d0cfd9dea584d214a0c2ad 10.0.0.16:7001
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: 2366c6765ecf21ee86b064376693ce59047478a5 10.0.0.16:7002
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004
   slots: (0 slots) slave
   replicates ccc65af4a214689b15d0cfd9dea584d214a0c2ad
S: 19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003
   slots: (0 slots) slave
   replicates 62d87bd83fd636e6ba1fe031777178cce8f9f776
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 1000      #<==移动1000个hash槽

q  设置目标ID

除了移动的哈希槽数量之外, redis-trib 还需要知道重新分片的目标(target node), 也就是负责接收这 1000 个哈希槽的节点。

指定目标需要使用节点的 ID , 而不是 IP 地址和端口。 比如说, 我们打算使用集群的第一个主节点来作为目标, 它的 IP 地址和端口是 10.0.0.16:7001 , 而节点 ID 则是62d87bd83fd636e6ba1fe031777178cce8f9f776 , 那么我们应该向 redis-trib 提供节点的 ID :

How many slots do you want to move (from 1 to 16384)? 1000
What is the receiving node ID? 62d87bd83fd636e6ba1fe031777178cce8f9f776

q  设置源节点

接下来, redis-trib 会向你询问重新分片的源节点(source node),也就是要从哪个节点中取出 1000 个哈希槽, 并将这些槽移动到目标节点上面。如果我们不打算从特定的节点上取出指定数量的哈希槽,那么可以向 redis-trib 输入 all ,这样的话,集群中的所有主节点都会成为源节点, redis-trib 将从各个源节点中各取出一部分哈希槽, 凑够 1000 个, 然后移动到目标节点上面:

What is the receiving node ID? 62d87bd83fd636e6ba1fe031777178cce8f9f776
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:all      #<==这里可以选择all或者具体节点ID回车再输入done来指定具体节点,可以用来清除主节点的solt。

输入 all 并按下回车之后, redis-trib 将打印出哈希槽的移动计划, 如果你觉得没问题的话, 就可以输入 yes 并再次按下回车:

......
    Moving slot 11420 from 2366c6765ecf21ee86b064376693ce59047478a5
    Moving slot 11421 from 2366c6765ecf21ee86b064376693ce59047478a5
Do you want to proceed with the proposed reshard plan (yes/no)? yes

输入 yes 并使用按下回车之后, redis-trib 就会正式开始执行重新分片操作, 将指定的哈希槽从源节点一个个地移动到目标节点上面。

q  重新检查集群状态

[[email protected] src]# ./redis-trib.rb check 10.0.0.16:7000
>>> Performing Cluster Check (using node 10.0.0.16:7000)
M: 62d87bd83fd636e6ba1fe031777178cce8f9f776 10.0.0.16:7000
   slots:0-5961,10923-11421 (6461 slots) master
   1 additional replica(s)
S: 287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005
   slots: (0 slots) slave
   replicates 2366c6765ecf21ee86b064376693ce59047478a5
M: ccc65af4a214689b15d0cfd9dea584d214a0c2ad 10.0.0.16:7001
   slots:5962-10922 (4961 slots) master
   1 additional replica(s)
M: 2366c6765ecf21ee86b064376693ce59047478a5 10.0.0.16:7002
   slots:11422-16383 (4962 slots) master
   1 additional replica(s)
S: 60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004
   slots: (0 slots) slave
   replicates ccc65af4a214689b15d0cfd9dea584d214a0c2ad
S: 19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003
   slots: (0 slots) slave
   replicates 62d87bd83fd636e6ba1fe031777178cce8f9f776
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

需要注意的就是, 在三个主节点中, 节点 127.0.0.1:7000 包含了 6461 个哈希槽, 而节点 127.0.0.1:7001 和节点 127.0.0.1:7002 都只包含了 4961 个哈希槽, 因为后两者都将自己的 500 个哈希槽移动到了节点 127.0.0.1:7000 。

第7章 集群节点管理

7.1 添加节点

根据新添加节点的种类, 我们需要用两种方法来将新节点添加到集群里面:

q  如果要添加的新节点是一个主节点, 那么我们需要创建一个空节点(empty node), 然后将某些哈希槽移动到这个空节点里面。

q  如果要添加的新节点是一个从节点, 那么我们需要将这个新节点设置为集群中某个节点的复制品(replica)。

7.1.1 新增一个空的节点

同理,再启动一个新的7006端口的Redis节点,过程见redis(一)、入门。

7.1.2 新增节点加入集群

执行以下命令, 将这个新节点添加到集群里面:

./redis-trib.rb add-node 10.0.0.16:7006 10.0.0.16:7000

命令中的 add-node 表示我们要让 redis-trib 将一个节点添加到集群里面, add-node 之后跟着的是新节点的 IP 地址和端口号, 再之后跟着的是集群中任意一个已存在节点的 IP 地址和端口号, 这里我们使用的是 10.0.0.16:7000 。

通过 cluster nodes 命令, 我们可以确认新节点 10.0.0.16:7006 已经被添加到集群里面了:

[[email protected] cluster]# redis-cli -c -h 10.0.0.16 -p 7000 cluster nodes
287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005 slave 2366c6765ecf21ee86b064376693ce59047478a5 0 1523112658032 6 connected
ccc65af4a214689b15d0cfd9dea584d214a0c2ad 10.0.0.16:7001 master - 0 1523112656012 8 connected 0-565 5962-10922 11422-11855
2366c6765ecf21ee86b064376693ce59047478a5 10.0.0.16:7002 master - 0 1523112651972 3 connected 11856-16383
62d87bd83fd636e6ba1fe031777178cce8f9f776 10.0.0.16:7000 myself,master - 0 0 7 connected 566-5961 10923-11421
60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004 slave ccc65af4a214689b15d0cfd9dea584d214a0c2ad 0 1523112655003 8 connected
96fdc35b69c4f0929ba9ba5550a5fca8f3b0b514 10.0.0.16:7006 master - 0 1523112657022 0 connected
19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003 slave 62d87bd83fd636e6ba1fe031777178cce8f9f776 0 1523112652982 7 connected

新节点现在已经连接上了集群, 成为集群的一份子, 并且可以对客户端的命令请求进行转向了, 但是和其他主节点相比, 新节点还有两点区别:

1、新节点没有包含任何数据, 因为它没有包含任何哈希槽。

2、尽管新节点没有包含任何哈希槽, 但它仍然是一个主节点, 所以在集群需要将某个从节点升级为新的主节点时, 这个新节点不会被选中。

7.1.3 添加为主节点

当把节点添加进集群的时候,已经默认设置为主节点了,只是该节点没有数据而已。这时只需要我们将哈希槽移动到新的节点里面,新节点就会成为真正的主节点了。

详细过程见第六章。

7.1.4 添加为slave节点

使用客户端连接上新节点,并运行如下命令:

[[email protected] cluster]# redis-cli -c -h 10.0.0.16 -p 7006
10.0.0.16:7006> cluster replicate 62d87bd83fd636e6ba1fe031777178cce8f9f776
OK
10.0.0.16:7006>

注:以上这条命令也适合于随时修改从节点的master。

q  一步到位法:

redis-trib.rb add-node --slave --master-id 62d87bd83fd636e6ba1fe031777178cce8f9f77 10.0.0.16:7006 10.0.0.16:7000
--slave:表示添加的是从节点
--master-id 62d87bd83fd636e6ba1fe031777178cce8f9f77:主节点的node id
10.0.0.16:7006:新的节点
10.0.0.16:7000:任何一个集群中的旧节点

查看是否设置成功:

[[email protected] cluster]# redis-cli -c -h 10.0.0.16 -p 7000 cluster nodes | grep slave
287a24936fa3c0c29ce33d768921769cf1969115 10.0.0.16:7005 slave 2366c6765ecf21ee86b064376693ce59047478a5 0 1523113268561 6 connected
60c3b5d3c1a53328046b627bd015da99e30436c0 10.0.0.16:7004 slave ccc65af4a214689b15d0cfd9dea584d214a0c2ad 0 1523113270579 8 connected
96fdc35b69c4f0929ba9ba5550a5fca8f3b0b514 10.0.0.16:7006 slave 62d87bd83fd636e6ba1fe031777178cce8f9f776 0 1523113269569 9 connected
19920c1ccf4be5849a1fca5d5f41643a3598cfcc 10.0.0.16:7003 slave 62d87bd83fd636e6ba1fe031777178cce8f9f776 0 1523113267550 7 connected
#<==可以看出新节点已经成为slave了

7.2 移除节点

7.2.1 移除从节点

执行如下命令,将节点移出集群:

/opt/redis/src/redis-trib.rb del-node 10.0.0.16:7006 '96fdc35b69c4f0929ba9ba5550a5fca8f3b0b514'

7.2.2 移除主节点

q  如果主节点有从节点,先将从节点移到其他主节点

10.0.0.16:7006> cluster replicate 62d87bd83fd636e6ba1fe031777178cce8f9f776

q  如果主节点有solt,去掉分配的solt

详细过程见第6章,只需要把all替换为需删除的主节点即可。

q  删除主节点

/opt/redis/src/redis-trib.rb del-node 10.0.0.16:7006 '96fdc35b69c4f0929ba9ba5550a5fca8f3b0b514'

第8章 Redis Cluster相关命令

//集群(cluster)  
CLUSTER INFO #<==打印集群的信息  
CLUSTER NODES #<==列出集群当前已知的所有节点(node),以及这些节点的相关信息。   
  
//节点(node)  
CLUSTER MEET <ip> <port>     #<==将ip和port所指定的节点添加到集群当中,让它成为集群的一份子。  
CLUSTER FORGET <node_id>     #<==从集群中移除node_id指定的节点。  
CLUSTER REPLICATE <node_id>  #<==将当前节点设置为node_id指定的节点的从节点。  
CLUSTER SAVECONFIG            #<==将节点的配置文件保存到硬盘里面。   
  
//槽(slot)  
CLUSTER ADDSLOTS <slot> [slot ...]         #<==将一个或多个槽(slot)指派(assign)给当前节点。  
CLUSTER DELSLOTS <slot> [slot ...]         #<==移除一个或多个槽对当前节点的指派。  
CLUSTER FLUSHSLOTS                            #<==移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。  
CLUSTER SETSLOT <slot> NODE <node_id>      #<==将槽slot指派给node_id指定的节点,如果槽已经指派给另一个节点,那么先让另一个节点删除该槽,然后再进行指派。  
CLUSTER SETSLOT <slot> MIGRATING <node_id> #<==将本节点的槽 slot 迁移到 node_id 指定的节点中。  
CLUSTER SETSLOT <slot> IMPORTING <node_id> #<==从 node_id 指定的节点中导入槽 slot 到本节点。  
CLUSTER SETSLOT <slot> STABLE               #<==取消对槽 slot 的导入(import)或者迁移(migrate)。   
  
//键 (key)  
CLUSTER KEYSLOT <key>                    #<==计算键 key 应该被放置在哪个槽上。  
CLUSTER COUNTKEYSINSLOT <slot>           #<==回槽slot目前包含的键值对数量。  
CLUSTER GETKEYSINSLOT <slot> <count>     #<==返回count个slot槽中的键。

原文地址:http://blog.51cto.com/13178102/2095491

时间: 2024-07-31 06:44:12

Redis(五)、Redis数据库集群相关的相关文章

Redis 3.0.2集群搭建以及相关问题汇总

Redis3 正式支持了 cluster,是为了解决构建redis集群时的诸多不便 (1)像操作单个redis一样操作key,不用操心key在哪个节点上(2)在线动态添加.删除redis节点,不用停止服务(3)根据节点性能,动态分配不同数量的key到不同redis节点 (4)每个节点都配有slave,并自动监测和切换 Redis3 cluster 中增加了一个重要概念: hash slot(哈希槽),共有16384个slotkey不是直接放入redis中了,而是放入slot中,再把slot放入r

redis模型(4):集群

一.集群节点 1.节点 一个节点就是一个运行在集群模式下的Redis服务器,Redis服务器在启动时会根据cluster-enabled配置选项是否为yes来决定是否开启服务器的集群模式. 运行在集群模式下的 Redis 服务器会继续使用所有在单机模式中使用的服务器组件: 节点会继续使用文件事件处理器来处理命令请求和返回命令回复. 节点会继续使用时间事件处理器来执行serverCron函数,而serverCron函数又会调用集群模式特有的clusterCron函数.clusterCron函数负责

Centos7下安装redis实战(单机版以及集群)

一.背景 因项目需要,要引入redis做缓存,就在centos7下亲自安装了一遍redis,刚好趁着这个机会就来把redis的概念以及单机版和集群版redis安装步骤记录下来,在此和大家一起分享. 二.Redis介绍 1.什么是Redis? Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库.它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型有:字符串类型.散列类型.列表类型.集合类型.有序集合类型. 2.Redis的应用场景:

Redis 4.0.1集群搭建

Redis 4.0.1集群搭建 一.概述 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状 目前redis支持的cluster特性: 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-clust

Redis高可用复制集群实现

redis简单介绍 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库.Redis 与其他 key - value 缓存产品有以下三个特点: 支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. 不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储. 支持数据的备份,即master-slave模式的数据备份. Redis的持久化 RDB:snapshotting 二进制格式:按

部署redis主从高可用集群

部署redis主从高可用集群本文部署的redis集群是一主一从,这两台服务器都设置了哨兵进程,另外再加一台哨兵做仲裁,建议哨兵数量为基数172.16.1.187    redis主+哨兵172.16.1.188    redis从+哨兵172.16.1.189    哨兵以上系统均为CentOS6 在187,188,189上部署redis过程如下:(1)redis使用编译安装方式,所以需要安装编译基本组件# yum -y install gcc gcc-c++ make cmake cpp gl

(转)redis 3.0的集群部署

一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/news/49 (ps:跳票了好久,今年貌似加快速度了),目前的最新版本是redis3 beta2(2.9.51). 作者的目标:Redis Cluster will support up to ~1000 nodes. 赞... 目前redis支持的cluster特性(已亲测): 1):节点自动发

通过jedis连接redis单机成功,使用redis客户端可以连接集群,但使用JedisCluster连接redis集群一直报Could not get a resource from the pool

一,问题描述: (如题目)通过jedis连接redis单机成功,使用JedisCluster连接redis集群一直报Could not get a resource from the pool 但是使用redis客户端可以连接集群(我使用的redis desktop manager) 在java中通过jedis连接redis单机也成功,但使用JedisCluster连接redis集群一直报Could not get a resource from the pool, 我以命令行方式操作是没问题的

redis 3.0的集群部署

文章转载自:http://hot66hot.iteye.com/blog/2050676 转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后,换掉memCache 集群. 一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者anti