Redis单实例数据迁移到集群

环境说明

单机redis

192.168.41.101:6379

redis集群

192.168.41.101:7000 master
192.168.41.101:7001 master
192.168.41.101:7002

192.168.41.102:7000 master
192.168.41.102:7001
192.168.41.102:7002

迁移步骤

查看集群状态及节点槽分布

[[email protected] bin]# ./redis-cli -c -p 7000
127.0.0.1:7000> cluster nodes
ab6d9f956de325cb4cf001abc31df365a5db5234 192.168.41.102:7001 slave 923c9ea13ec8fc19bed309dfbfad094320e1ca41 0 1560304528263 7 connected
48629733acbb8a580a39403dfac92845d63c97b3 192.168.41.101:7001 master - 0 1560304529768 2 connected 5461-10921
2cec8ac00f760c45d86f7903cefad85ec36704e7 192.168.41.102:7002 slave 923c9ea13ec8fc19bed309dfbfad094320e1ca41 0 1560304531271 7 connected
923c9ea13ec8fc19bed309dfbfad094320e1ca41 192.168.41.101:7000 myself,master - 0 0 7 connected 0-5460
e65b319e83997ed6f5323a26aaccba3f35522cbd 192.168.41.101:7002 slave 923c9ea13ec8fc19bed309dfbfad094320e1ca41 0 1560304532274 7 connected
5c0888d5bcceda2904311cbd5405596217c48105 192.168.41.102:7000 master - 0 1560304530268 4 connected 10922-16383
[[email protected] src]# ./redis-trib.rb check 192.168.41.101:7000
>>> Performing Cluster Check (using node 192.168.41.101:7000)
M: 923c9ea13ec8fc19bed309dfbfad094320e1ca41 192.168.41.101:7000
   slots:0-5460 (5461 slots) master
   3 additional replica(s)
S: ab6d9f956de325cb4cf001abc31df365a5db5234 192.168.41.102:7001
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
M: 48629733acbb8a580a39403dfac92845d63c97b3 192.168.41.101:7001
   slots:5461-10921 (5461 slots) master
   0 additional replica(s)
S: 2cec8ac00f760c45d86f7903cefad85ec36704e7 192.168.41.102:7002
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
S: e65b319e83997ed6f5323a26aaccba3f35522cbd 192.168.41.101:7002
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
M: 5c0888d5bcceda2904311cbd5405596217c48105 192.168.41.102:7000
   slots:10922-16383 (5462 slots) master
   0 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

把101:7001和102:7000两个master的slots转移到101:7000上

./redis-trib.rb reshard --from 5c0888d5bcceda2904311cbd5405596217c48105 --to 923c9ea13ec8fc19bed309dfbfad094320e1ca41  --slots 5462 --yes 192.168.41.101:7000

./redis-trib.rb reshard --from 48629733acbb8a580a39403dfac92845d63c97b3 --to 923c9ea13ec8fc19bed309dfbfad094320e1ca41  --slots 5461 --yes 192.168.41.101:7000

查看转以后槽点分配

>>> Performing Cluster Check (using node 192.168.41.101:7000)
M: 923c9ea13ec8fc19bed309dfbfad094320e1ca41 192.168.41.101:7000
   slots:0-16383 (16384 slots) master
   3 additional replica(s)
S: ab6d9f956de325cb4cf001abc31df365a5db5234 192.168.41.102:7001
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
M: 48629733acbb8a580a39403dfac92845d63c97b3 192.168.41.101:7001
   slots: (0 slots) master
   0 additional replica(s)
S: 2cec8ac00f760c45d86f7903cefad85ec36704e7 192.168.41.102:7002
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
S: e65b319e83997ed6f5323a26aaccba3f35522cbd 192.168.41.101:7002
   slots: (0 slots) slave
   replicates 923c9ea13ec8fc19bed309dfbfad094320e1ca41
M: 5c0888d5bcceda2904311cbd5405596217c48105 192.168.41.102:7000
   slots: (0 slots) master
   0 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

把192.168.41.101:6379的appendonly.aof 文件复制到101:7000的aof文件目录下

cp 6379目录/appendonly.aof   7000目录

重启101:7000节点加载aof文件

[[email protected] bin]# ./redis-cli -c -p 7000 shutdown

[[email protected] bin]# ./redis-server ../redis.conf 

查看数据是否正确

dbsize

将101:7000的槽 均匀分配给其他两个master节点

./redis-trib.rb reshard --from 923c9ea13ec8fc19bed309dfbfad094320e1ca41  --to 5c0888d5bcceda2904311cbd5405596217c48105  --slots 5462 --yes 192.168.41.101:7000

./redis-trib.rb reshard --from 923c9ea13ec8fc19bed309dfbfad094320e1ca41  --to 48629733acbb8a580a39403dfac92845d63c97b3  --slots 5461 --yes 192.168.41.101:7000

再次查看集群状态和槽分配。

原文地址:https://www.cnblogs.com/blazeZzz/p/11007977.html

时间: 2024-10-30 13:39:32

Redis单实例数据迁移到集群的相关文章

TroubleShooting - 迁移到集群环境数据错乱问题

最近系统出了个问题,发现系统发布出去的某一条链式结构的数据出现断链的问题,调查发现这是在单系统迁移到集群环境中没有考虑清楚导致多个节点同时修改数据而出现的错误,这里介绍下问题的来龙去脉. 我们的系统持续接受外部系统提供的产品的信息(每次一个产品),对产品信息进行加工,把加工后的产品数据按产品类型加入内存数组,每次有新产品加入数组,就需要把数组数据打包成链式结构(外部数据结构要求),然后发给其他外部系统.单节点的时候对数组的产品添加,以及整个链式数据发送在同个类中使用了synchronized,所

Redis安装(单机及各类集群,阿里云)

Redis安装(单机及各类集群,阿里云) 前言 上周,我朋友突然悄悄咪咪地指着手机上的一篇博客说,这是你的博客吧.我看了一眼,是之前发布的<Rabbit安装(单机及集群,阿里云>.我朋友很哈皮地告诉我,我的博客被某个Java平台进行了微信推送.看到许多人阅读,并认同了我的博客,心理还是很开心的. 好了,话题收回来.这次就Redis在实际服务器中的各种安装,进行详细描述. 另外由于内容较多,并不一定能涵盖各个方面,万望见谅.如果存在什么问题,或者有什么需要添加的,请私信或@我. 最后,由于打马赛

03.Redis单实例部署之基于RDB持久化

一.部署Redis单实例[RDB持久化] ## 操作系统环境说明 [[email protected] ~]# cat /etc/redhat-release;uname -r;uname -m; CentOS Linux release 7.5.1804 (Core) 3.10.0-862.el7.x86_64 x86_64 [[email protected] ~]# firewall-cmd --state ## 查看firewall墙的状态 not running [[email pro

Redis的几种高可用集群方案

Redis的高可用方式及常用集群方式一般有: 主从模式 哨兵模式 集群模式 当然也有第三方代理模式,如codis等,这种不在这里讨论之列. 我刚好学习到这里,我就简单记录下这几种模式的配置 .老鸟及不感兴趣的,可以就此飘过. Redis的安装及单实例的启动,这里就不再赘述了,确实比较简单. 一 主从模式 这个模式就是解决单台机器的内存性能问题,可以把主实例和从实例放到不同的机器上面.从机器可以作备份使用,当master主机出现故障后,可以将某一台slave提升为master.一定程度上提高缓存的

redis单实例、多实例、主从同步实战

[安装redis单实例实战] yum -y install gcc gcc-c++    #安装编译工具 cd /opt wget -c http://download.redis.io/releases/redis-3.0.5.tar.gz   #下载包 tar xf redis-3.0.5.tar.gz     #解压 cd redis-3.0.5 make MALLOC=libc  #编译 make PREFIX=/usr/local/redis install  #安装 echo 'PA

添加数据中心,集群及主机

首先介绍下硬盘的三种设置格式,这个要搞清楚 虚机硬盘的三种格式 厚置备延迟置零 厚置备,分配10g空间,虚拟机没开机时就分配了: 延迟置零,没开机之前只分配空间,里面的数据不抹零,当开机写入数据时再抹数据 厚置备置零    分配空间,数据清零,予取予求 瘦提供 看到的是10G,实际并没有,也就是最大是10G,写数据时临时分配空间给虚机.创建虚拟机速度快,但是性能差. 添加数据中心,集群及主机 failed to log into nfs server------>是在本机没有通过域用户登录而产生

Redis Cluster 4.0高可用集群安装、在线迁移操作记录

之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑到是线上生产环境,决定在线迁移,迁移过程,不中断服务.操作过程如下: 一.机器环境 1 2 3 4 5 6 7 8 9 10 11 12 13 迁移前机器环境 ----------------------------------------------------------------------

redis之(十八)redis的支持水平扩容的集群特性,以及插槽的相关操作

[一]主从集群的缺点,客户端分片的缺点 (1)主从+哨兵的redis集群,只是做主从备份,数据冗余的一种处理.但在存储空间的扩展上还是有限制.因为集群中的节点都是存储同样的数据.单一节点的容量,就可以决定整个集群存储数据的容量.木桶效应. (2)客户端规划的分片(就是将不同的键存储在不同的节点上),包括客户端预分片技术,解决了存储容量的不受单台最小存储节点的限制,但在集群节点新加入和节点下线上,就会造成数据的命中率不高,需要人工手动重新规划,数据转移. [二]redis3.0版本支持集群(包括存

Redis简介、高可用及集群相关配置

一 Redis 持久化和复制 1 Redis持久化的两种方式: 1 RDB:可以再指定的时间间隔内生成数据集的时间点快照(每隔一定的时间做一个快照,进行将其刷新到磁盘上,断电)2 AOF:把服务器执行的所有写操作命令记录下来,然后在服务器启动时,通过重新执行这些命令来还原数据集,AOF文件的操作相当于自增操作,Redis可以同时使用RDB和AOF这两种方式.当Redis重启时,会优先使用AOF文件来还原数据集.你也可以关闭持久化功能RDB:可以做备份,RDB可以最大化Redis性能,父进程在保存