基于twemproxy和vip实现redis集群的无感知弹性扩容

目标是实现redis集群的无感知弹性扩容

关键点

1.是无感知,即对redis集群的用户来说服务ip和port保持不变

2.弹性扩容,指的是在需要时刻可以按照业务扩大redis存储容量。

1.业务场景

  • 1.redis集群某个业务容量不足,需要扩容
  • 2.redis集群需要一个为一个新业务分配存储容量
  • 3.redis集群在扩容的时候服务不是停止的,而是服务中,即无感知

最好的解决方式

对客户端无感知,即客户端不需要任何操作就实现了redis集群的扩容

2.最朴素的twemproxy+redis集群架构

其中twemproxy-A代理后面接了3个redis实例,作为集群使用,如果1个redis示例有10G存储能力,

那么目前这个架构具有10G*3=30G的存储能力,其中根据twemproxy的配置来实现负载均衡。

3.最直接的扩容方案:

这个方案扩容是最直接的,即在代理后面直接新加一个redis-4,来扩充这个redis集群的容量。

这种方式最直接,但是问题也比较大,主要有2个:

  • 1.后端新增一个redis实例之后,虽然有一致性hash保证大部分数据还会走原先的路由,
  • 但仍有小部分旧的数据会被路由到新的redis-4中,即丢失一小部分旧的数据
  • 2.扩容效果不理想,一开始时,redis-4的已用存储是0,理想最好的方式是旧的数据还走之前的路由
  • ,新的数据路由到redis-4中

为了解决上述方案的不足,本文提出了一个新的方案如下

4.一个twemproxy二级代理的方案:

这个方案有1个关键点,即怎么实现旧的数据走之前的路由,新的数据走redis-4的路由,这就用到了

hash_tag的预分配(即提前占坑的思想)技术,使用hash_tag作为二级twemproxy的路由标示,具体操作如下:

  • 1.twemproxy-C的hash_tag 设置为(),twemproxy-A和twemproxy-B的hash_tag设置为{}
  • 2.插入形如key_(0)_{1},key_(1)_{1}的2个key,假设key_(0)_{1}路由到了twemproxy-A,key_(1)_{1}路由到了twemproxy-B
  • 3.那么旧的服务插入数据的标示就是key_(0)_{xxxx},新的数据插入的标示就是key_(1)_{xxxx}

注意点如下:

  • 1.一开始可以预先分配多一些二级代理,以备不时只需
  • 2.一开始需要测试清楚,哪些()标示走哪些对应的二级代理。

好处:

  • 1.自动的完成了旧的数据走旧路由,新的数据走新路由
  • 2.新的数据也可以如图与之前的业务数据存储完全隔离
  • 3.新的路由还可以复用之前的存储,即redis-1到redis-3的存储

5.最终真正实现无感知弹性扩容方案

如图4所示:

最终的方案新增了一个VIP,用这个VIP来解决无感知的问题,即扩容对客户端来说是无感知的。

无感知的解决类似”双buffer交换“的思路,即上图的twemproxy-C和twemproxy-D,当需要重启twemproxy代理时,

可以进行如下操作:

  • 1.现假设vip只访问到twemproxy-C
  • 2.更改twemproxy-D使用最新的配置,重启
  • 3.vip切换服务到只访问twemproxy-D

当还需要重启代理时,以此循环。

原文地址:https://www.cnblogs.com/wendy009/p/11383655.html

时间: 2024-10-03 10:36:36

基于twemproxy和vip实现redis集群的无感知弹性扩容的相关文章

Redis集群架构

Redis集群概述 集群的核心意义只有一个:保证一个节点出现了问题之后,其他的节点可以继续提供服务使用. Redis基础部分讲解过主从配置:对于主从配置可以有两类:一主二从,层级关系.开发者一主二从是常用的手段. Redis的主从配置是所有Redis集群的一个基础.但是只是依靠主从依然无法实现高可用的配置. Redis集群有以下两种方案 1)keepalived+twemproxy+HAProxy+sentinel 对redis集群而言,首先在主从的基础上发展出了一个叫哨兵的处理机制,所谓的哨兵

(转)理想化的 Redis 集群

一个豁达的关键是正确乐观的面对失败的系统.不需要过多的担心,需要一种去说那又怎样的能力.因此架构的设计是如此的重要.许多优秀的系统没有进一步成长的能力,我们应该做的是去使用其他的系统去共同分担工作. Redis是其中一个吸引我的系统,一个持久性的,键值对 存储内存操作高性能的平台.他是一个优秀的键值对数据库.我已经在使用了.即使AWS最近宣布开始支持ElasticCache的下级缓存.但是一个无主 的redis集群仍然起着重要的作用.我们需要多系统去完成工作.同时,我们能够集合多种组件在一个容错

基于Twemproxy的Redis集群方案

概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求.因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest.Tumblr.Twitter.Vine.Kiip.Wuaki.tv.Wanelo.Kontera.Wikimed

基于 twemproxy 搭建 redis 集群

概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求.因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest.Tumblr.Twitter.Vine.Kiip.Wuaki.tv.Wanelo.Kontera.Wikimed

Redis集群~StackExchange.redis连接Twemproxy代理服务器

回到目录 本文是Redis集群系列的一篇文章,主要介绍使用StackExchange.Redis进行Twemproxy(文中简称TW)代理服务的连接过程,事务上,对于TW来说,我们需要理解一下它的物理架构,它类似于Nugix,主要实现的是请求转发,但它还有一个重要的功能,那就是自动分片,这对于大数据是很必要的,你的服务器需要横向扩展时,不需要告诉客户端,这是一种很理解化的设计模式,当然,也对于Redis来说,在配置TW之后,是可以被全美支持的! 关于tw和Redis集群的设计图 关于StackE

redis集群+twemproxy

参考: https://www.zhihu.com/question/21419897 http://www.cnblogs.com/haoxinyue/p/redis.html 为什么集群? 通常,为了提高网站响应速度,总是把热点数据保存在内存中而不是直接从后端数据库中读取.Redis是一个很好的Cache工具.大型网站应用,热点数据量往往巨大,几十G上百G是很正常的事儿,在这种情况下,如何正确架构Redis呢? 首先,无论我们是使用自己的物理主机,还是使用云服务主机,内存资源往往是有限制的,

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 http://www.tuicool.com/articles/naeEJbv 基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 时间 2014-02-21 15:15:17  IT社区推荐资讯 原文  http://itindex.net/detail/48192-redis-sentinel-redis Redis Sentinel是一个分布式系统,可以部署多个Se

Redis集群Twemproxy

Redis集群Twemproxy 1.环境部署: 操作系统 CentOS 6.4 redis版本 redis-3.0.7 redis主服务器 192.168.1.111 redis从服务器1 192.168.1.112 redis从服务器2 192.168.1.113 有三台服务器,一台COS1安装twemproxy,另外两台COS2,COS3安装redis. 2. Cos1.Cos2和cos3安装redis 见 http://youngcheung.blog.51cto.com/1080901

基于Redis Sentinel的Redis集群(主从Sharding)高可用方案(转)

本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求: Redis Sentinel介绍 Redis Sentinel是Redis官方提供的集群管理工具,主要有三大功能: 监控,能持续监控Redis的主从实例是否正常