Redis系列(四)-低成本高可用方案设计

关于Redis高可用方案,看到较多的是keepalived、zookeeper方案。 keepalived是主备模式,意味着总有一台浪费着。zookeeper工作量成本偏高。 本文主要介绍下使用官方sentinel做redis高可用方案的设计。

阅读目录:

  1. Redis Sentinel
  2. 故障转移消息接收的3种方式
  3. 整体流程图
  4. 总结

Redis Sentinel

Sentinel介绍

Sentinel是Redis官方为集群提供的高可用解决方案。 在实际项目中可以使用sentinel去做redis自动故障转移,减少人工介入的工作量。另外sentinel也给客户端提供了监控消息的通知,这样客户端就可根据消息类型去判断服务器的状态,去做对应的适配操作。

下面是Sentinel主要功能列表:

  • Monitoring:Sentinel持续检查集群中的master、slave状态,判断是否存活。
  • Notification:在发现某个redis实例死的情况下,Sentinel能通过API通知系统管理员或其他程序脚本。
  • Automatic failover:如果一个master挂掉后,sentinel立马启动故障转移,把某个slave提升为master。其他的slave重新配置指向新master。
  • Configuration provider:对于客户端来说sentinel通知是有效可信赖的。客户端会连接sentinel去请求当前master的地址,一旦发生故障sentinel会提供新地址给客户端。

Sentinel配置

Sentinel本质上只是一个运行在特殊模式下的redis服务器,通过不同配置来区分提供服务。 sentinel.conf配置:

// [监控名称] [ip] [port] [多少sentinel同意才发生故障转移]
sentinel monitor mymaster 127.0.0.1 6379 2
// [监控名称] [Master多少毫秒后不回应ping命令,就认为master是主观下线状态]
sentinel down-after-milliseconds mymaster 60000
// [故障转移超时时间]
sentinel failover-timeout mymaster 180000
//[在执行故障转移时,最多可以有多少个从服务器同时对新的主服务器进行同步]
sentinel parallel-syncs mymaster 1

sentinel需要使用redis2.8版本以上,启动如下:

redis-sentinel sentinel.conf

启动后Sentinel会:

  • 以10秒一次的频率,向被监视的master发送info命令,根据回复获取master当前信息。
  • 以1秒一次的频率,向所有redis服务器、包含sentinel在内发送PING命令,通过回复判断服务器是否在线。
  • 以2秒一次的频率,通过向所有被监视的master,slave服务器发送包含当前sentinel,master信息的消息。

另外建议sentinel至少起3个实例以上,并配置2个实例同意即可发生转移。 5个实例,配置3个实例同意以此类推。

故障转移消息接收的3种方式

Redis服务器一旦发送故障后,sentinel通过raft算法投票选举新master。 故障转移过程可以通过sentinel的API获取/订阅接收事件消息。

脚本接收

//当故障转移期间,可以指定一个“通知”脚本用来告知系统管理员,当前集群的情况。
//脚本被允许执行的最大时间为60秒,如果超时,脚本将会被终止(KILL)

sentinel notification-script mymaster /var/redis/notify.sh 

//故障转移期之后,配置通知客户端的脚本.

sentinel client-reconfig-script mymaster /var/redis/notifyReconfig.sh 

客户端直接接收

Sentinel的故障转移消息通知使用的是redis发布订阅(详解Redis发布订阅及客户端编程)。就是说在故障转移期间所有产生的事件信息,都通过频道(channel)发布出去。比如我们加台slave服务器,sentinel监听到后会发布加slave的消息到"+slave"频道上,客户端只需要订阅"+slave"频道即可接收到对应消息。

其消息格式如下:
[实例类型] [事件服务器名称] [服务器ip] [服务器端口] @[master名称] [ip] [端口]

<instance-type> <name> <ip> <port> @ <master-name> <master-ip> <master-port>

通知消息格式示例:

*          //订阅类型, *即订阅所有事件消息。
-sdown     //消息类型
slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381

订阅消息示例:

        using (RedisSentinel rs = new RedisSentinel(CurrentNode.Host, CurrentNode.Port))
            {
                var redisPubSub = new RedisPubSub(node.Host, node.Port);
                redisPubSub.OnMessage += OnMessage;
                redisPubSub.OnSuccess += (msg) =>{};
                redisPubSub.OnUnSubscribe += (obj) =>{};
                redisPubSub.OnError = (exception) =>{ };
                redisPubSub.PSubscribe("*");
            }

服务间接接收

这种方式在第二种基础上扩展了一层,即应用端不直接订阅sentinel。 单独做服务去干这件事情,然后应用端提供API供这个服务回调通知。 这样做的好处在于:

  • 减少应用端监听失败出错的可能性。
  • 应用端由主动方变成被动方,降低耦合。
  • 性能提高,轮询变回调。
  • 独立成服务可扩展性更高。

比如:

1:以后换掉sentinel,我们只需要动服务即可,应用端无需更改。

2:可以在服务内多增加一层守护线程去主动拉取redis状态,这样可确保即使sentinel不生效,也能及时察觉redis状态,并通知到应用端。 当然这种情况很极端,因为sentinel配的也是多节点,同时挂的几率非常小。
示例:
应用端提供回调API,在这个API逻辑下去刷新内存中的Redis连接。

http://127.0.0.1/redis/notify.api

独立服务监控到状况后,调用API通知应用端:

 httprequest.post("http://127.0.0/redis/notify.api");

整体设计

推荐使用第三种,其整体流程图如下:

总结

各种sentinel通知消息类型见官方文档,项目中使用的redis客户端在github上[HRedis]。本文分享了楼主在项目中做Redis高可用的经验,希望对大家有所帮助。 在人力物力满足的情况下还是推荐使用zookeeper方案的。 只有三五杆枪的情况下也就退而求其次,利用最小成本满足需求并保留可扩展性。

相信没有最好的架构,只有更合适的架构。

[1] Redis Sentinel Documentation

时间: 2024-08-06 07:59:03

Redis系列(四)-低成本高可用方案设计的相关文章

redis 系列26 Cluster高可用 (1)

原文:redis 系列26 Cluster高可用 (1) 一.概述 Redis集群提供了分布式数据库方案,集群通过分片来进行数据共享,并提供复制和故障转移功能.在大数据量方面的高可用方案,cluster集群比Sentinel有优势.但Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.学习集群同样先了解一些原理方面包括:节点.槽指派.命令执行.重新分片,转向.故障转移.消息.后面再操作集群演示.

redis 系列27 Cluster高可用 (2)

原文:redis 系列27 Cluster高可用 (2) 一. ASK错误 集群上篇最后讲到,对于重新分片由redis-trib负责执行,关于该工具以后再介绍.在进行重新分片期间,源节点向目标节点迁移一个槽的过程中,可以会出现该槽中的一部分键值对保存在源节点中,另一部份键值对则保存在目标节点中. 当客户端向源节点发送一个与数据库键有关的命令时,并且命令要处理的数据库键正好就是正在被迁移的槽时,会出现二种情况的一种: (1) 源节点会先在自己的数据库中查找指定的键,如果找到的话,就会直接执行客户端

利用redis主从+keepalived实现高可用

Redis简介: Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从2010年3月15日起,Redis的开发工作由VMware主持. redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set –有序集合)和hash(哈希类型).这些数据类型都支持push/pop.ad

Redis Cluster 4.0高可用集群安装、在线迁移操作记录

之前介绍了redis cluster的结构及高可用集群部署过程,今天这里简单说下redis集群的迁移.由于之前的redis cluster集群环境部署的服务器性能有限,需要迁移到高配置的服务器上.考虑到是线上生产环境,决定在线迁移,迁移过程,不中断服务.操作过程如下: 一.机器环境 1 2 3 4 5 6 7 8 9 10 11 12 13 迁移前机器环境 ----------------------------------------------------------------------

redis 之redis-sentinel主从复制高可用

一.redis主从复制背景问题 Redis主从复制可将主节点数据同步给从节点,从节点此时有两个作用: (1)一旦主节点宕机,从节点作为主节点的备份可以随时顶上来. (2)扩展主节点的读能力,分担主节点读压力. 但是问题是: 一旦主节点宕机,从节点上位,那么需要人为修改所有应用方的主节点地址(改为新的master地址),还需要命令所有从节点复制新的主节点 那么这个问题,redis-sentinel就可以解决了 二. Redis-Sentinel Redis-Sentinel是redis官方推荐的高

Redis集群的高可用测试(含Jedis客户端的使用)

Redis集群的使用测试(Jedis客户端的使用) 1.  Jedis客户端建议升级到最新版(当前为2.7.3),这样对3.0.x集群有比较好的支持. https://github.com/xetorthio/jedis http://mvnrepository.com/artifact/redis.clients/jedis 2.  直接在Java代码中链接Redis集群: // 数据库链接池配置 JedisPoolConfig config = new JedisPoolConfig();

VMM系列之安装高可用VMM管理服务器

既上篇配置了SQL Server AlwaysOn之后,即配置了VMM所需的高可用的数据库之后,本节将演示安装高可用VMM管理服务器. 一. 创建服务账户 1.打开活动目录用户和计算机(dsa.msc) 2.右键System Center选择新建"用户" 3.新建对象-用户页面,键入相应的用户名以及登陆名,点击下一步 4.键入账户密码页面,键入账户密码以及选择"用户不能更改密码"和"密码永不过期" 5.将VMM服务账户添加到VMM管理服务器中的的

Redis集群服务器-高可用调研随笔[转]

今天改了一天的Bug,本想下午开始专研Redis命令集,结果也泡汤了.只能在下班的路上考虑下Redis集群服务器的高可用方案.随笔而已,尚未成型,仅作记录. 当然,我说的可能比较片面,欢迎拍砖.斧正. 一.Redis与MySQL对比 相同点: Master-Slave架构,集群架构下无法很好的完成数据拷贝,确保数据一致性. 支持数据文件持久化存储,但数据文件过大时,宕机重启可能存在安全隐患. 不同点: Redis时效性能远比MySQL要高得多,支持复杂的数据类型,基本上都是内存操作,效率远胜于M

Redis从入门到高可用分布式布局实战教程

第1章 Redis初识 带领听众进入Redis的世界,了解它的前世今生.众多特性.应用场景.安装配置.简单使用,可以让听众对Redis有一个全面的认识. 第2章 API的理解和使用 全面介绍了Redis提供的5种数据结构字符串(string).哈希(hash).列表(list).集合(set).有序集合(zset)的数据模型.常用命令.典型应用场景.同时本章还会对Redis的单线程处理机制.键值管理做一个全面介绍,通过对这些原理的理解,听众可以在合适的应用场景选择合适的数据结构. ... 第3章