能坚持别人不能坚持的,才能拥有别人未曾拥有的。
关注编程大道
公众号,让我们一同坚持心中所想,一起成长!!
《【面试突击】— Redis篇》-- Redis哨兵原理及持久化机制
在这个系列里,我会整理一些面试题与大家分享,帮助年后和我一样想要在金三银四准备跳槽的同学。
我们一起巩固、突击面试官常问的一些面试题,加油!!
《【面试突击】— Redis篇》--Redis数据类型?适用于哪些场景?
《【面试突击】— Redis篇》--Redis的线程模型了解吗?为啥单线程效率还这么高?
《【面试突击】— Redis篇》-- Redis的主从复制?哨兵机制?
前两次因为时间原因面试官暂时中止了面试,觉得上次你对redis的主从复制,哨兵机制的知识掌握的还可以,于是今天面试官想看看你到底对Redis了解有多深,又加大了攻势,你准备好了吗?
上次因为时间问题面试草草收场今天我还有几个哨兵的问题要问。首先说一下Redis Sentinel是怎么工作的?重点描述一下故障转移的过程
好的。
1)每个Sentinel以每秒钟一次的频率向它所知的Master,Slave以及其他 Sentinel 实例发送一个 PING 命令。
2)如果一个实例(instance)距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被当前 Sentinel 标记为主观下线。
3)如果一个Master被标记为主观下线,则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。
4)当有足够数量的 Sentinel(大于等于配置文件指定的值)在指定的时间范围内确认Master的确进入了主观下线状态, 则Master会被标记为客观下线 。
5)当Master被 Sentinel 标记为客观下线时,Sentinel 向下线的 Master 的所有 Slave 发送 INFO 命令的频率会从 10 秒一次改为每秒一次 (在一般情况下, 每个 Sentinel 会以每 10 秒一次的频率向它已知的所有Master,Slave发送 INFO 命令 )。
6)若没有足够数量的 Sentinel 同意 Master 已经下线, Master 的客观下线状态就会变成主观下线。 若 Master 重新向 Sentinel 的 PING 命令返回有效回复, Master 的主观下线状态就会被移除。
7)sentinel节点会与其他sentinel节点进行“沟通”,投票选举一个sentinel节点进行故障处理,在从节点中选取一个主节点,其他从节点挂载到新的主节点上自动复制新主节点的数据。
故障转移时会从剩下的slave选举一个新的master,被选举为master的标准是什么?
如果一个master被认为odown了,而且majority哨兵都允许了主备切换,那么某个哨兵就会执行主备切换操作,此时首先要选举一个slave来,会考虑slave的一些信息。
(1)跟master断开连接的时长。
如果一个slave跟master断开连接已经超过了down-after-milliseconds的10倍,外加master宕机的时长,那么slave就被认为不适合选举为master.
( down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state
(2)slave优先级。
按照slave优先级进行排序,slave priority越低,优先级就越高
(3)复制offset。
如果slave priority相同,那么看replica offset,哪个slave复制了越多的数据,offset越靠后,优先级就越高
(4)run id
如果上面两个条件都相同,那么选择一个run id比较小的那个slave
执行切换的那个哨兵在完成故障转移后会做什么?
会进行configuraiton配置信息传播。
哨兵完成切换之后,会在自己本地更新生成最新的master配置,然后通过pub/sub消息机制同步给其他的哨兵。
同步配置的时候其他哨兵根据什么更新自己的配置呢?
执行切换的那个哨兵,会从要切换到的新master(salve->master)那里得到一个configuration epoch,这就是一个version号,每次切换的version号都必须是唯一的。
如果第一个选举出的哨兵切换失败了,那么其他哨兵,会等待failover-timeout时间,然后接替继续执行切换,此时会重新获取一个新的configuration epoch 作为新的version号。
这个version号就很重要了,因为各种消息都是通过一个channel去发布和监听的,所以一个哨兵完成一次新的切换之后,新的master配置是跟着新的version号的,其他的哨兵都是根据版本号的大小来更新自己的master配置的。
好,上次哨兵的问题暂时就到这吧,接下来说说redis的持久化方面的问题吧。首先,生产上Redis要不要持久化?如果要,说说为什么需要,或者说持久化对生产系统的意义何在?
要。
redis持久化主要是做灾难恢复,数据恢复
,也可以归类到高可用
的范畴。
比如Redis整个挂了,导致Redis不可用了,这时候首先要做的事情是让Redis尽快变得可用。那么就会去重启Redis,尽快让它对外提供服务。但是如果没做持久化没有数据备份,这个时候Redis启动了,也不可用啊,数据都没了!
这时候很可能,大量的请求过来,在缓存全部无法命中,这个时候就死定了,可能会导致缓存雪崩
问题,所有的请求,没有在Redis命中,就会去数据库中去找,数据库一下子承接高并发,然后就挂了。数据库挂掉,你都没法去找数据恢复到redis里面去。
Redis持久化机制有哪些?
Redis有两种持久化机制,AOF和RDB。
AOF
,记录每次写请求的命令,以追加的方式在文件尾部追加,直接在尾部追加,效率比较高。
对于操作系统来说,不是每次写都直接写到磁盘,操作系统自己会有一层cache,redis写磁盘的数据会先缓存在os cache里,redis每隔1秒调用一次操作系统的fsync操作,强制将os cache中的数据刷入AOF文件中。
当redis重启的时候,就把AOF中记录的命令重新执行一遍就可以了,但是如果文件很大的话,执行会耗费较多的时间,对于数据恢复来说耗时会多一点。
RDB
,是快照文件,每隔一定时间将redis内存中的数据生成一份完整的RDB快照文件,当redis重启的时候直接加载数据即可,同样的数据比AOF恢复的要快。
说说这两种持久化机制各自的特点、优缺点吧
好的。RDB的优点
第一点就是他会生成多个数据文件,每个数据文件都代表了某一时刻redis中的数据,非常适合做冷备。
第二点,RDB持久化机制对redis对外提供的读写服务影响非常小,可以让redis保持高性能,因为redis主进程只需要fork一个子进程,让子进程执行磁盘IO操作来进行RDB持久化即可。
第三点,相对于AOF持久化机制来说,直接基于RDB数据文件来重启和恢复redis进程,更加快速。
AOF,存放的指令日志,做数据恢复的时候,其实是要回放和执行所有的指令日志,来恢复出来内存中的所有数据的。
RDB,就是一份数据文件,恢复的时候,直接加载到内存中即可。
RBD的缺点
1)故障时可能数据丢失的比AOF要多。
一般来说,RDB数据快照文件,都是每隔5分钟或者更长时间生成一次,这个时候一旦redis进程宕机,那么会丢失最近5分钟的数据。
这个问题,也是rdb最大的缺点,就是不适合做第一优先的恢复方案,如果你依赖RDB做第一优先恢复方案,会导致数据丢失的比较多
2)RDB每次在fork子进程来执行RDB快照数据文件生成的时候,如果数据文件特别大,可能会导致对客户端提供的服务暂停数毫秒,或者甚至数秒。
所以一般不要让RDB的间隔太长,否则每次生成的RDB文件太大了,对redis本身的性能可能会有影响的。
AOF的优点
1)AOF可以更好的保护数据不丢失
一般AOF会每隔1秒,通过一个后台线程执行一次fsync操作,最多丢失1秒钟的数据。
每隔1秒,就执行一次fsync操作,保证os cache中的数据写入磁盘中。
redis进程挂了,最多丢掉1秒钟的数据.
2)AOF持久化性能高
AOF日志文件以append-only模式写入,所以没有任何磁盘寻址的开销,写入性能非常高,而且文件不容易破损,即使文件尾部破损,也很容易修复。
3)AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。
因为在rewrite log的时候,会对其中的指令进行压缩,创建出一份需要恢复数据的最小日志出来。再创建新日志文件的时候,老的日志文件还是照常写入。当新的merge后的日志文件ready的时候,再交换新老日志文件即可。
4)AOF日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。
比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据。
AOF的缺点
(1)对于同一份数据来说,AOF日志文件通常比RDB数据快照文件更大
(2)AOF开启后,支持的写QPS会比RDB支持的写QPS低,因为AOF一般会配置成每秒fsync一次日志文件,当然,每秒一次fsync,性能也还是很高的。
如果你要保证一条数据都不丢,也是可以的,AOF的fsync设置成没写入一条数据,fsync一次,但是那样导致redis的QPS大幅度下降。
(3)以前AOF发生过bug,就是通过AOF记录的日志,进行数据恢复的时候,没有恢复一模一样的数据出来。
所以说,类似AOF这种较为复杂的基于命令日志/merge/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug。
不过AOF就是为了避免rewrite过程导致的bug,因此每次rewrite并不是基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的重新构建,这样健壮性会好很多。
(4)唯一的比较大的缺点,其实就是做数据恢复的时候,会比较慢,做冷备不太合适。
你刚才提到冷备,那你具体说说为啥AOF不适合RDB适合?
其实两个都可以做,只不过RDB更适合。
RDB可以做冷备,是因为它会生成多个文件,每个文件都代表了某一个时刻的完整的数据快照,我们可以将这种完整的数据文件发送到一些远程的安全存储上去,比如可以是阿里云的ODPS分布式存储上,以预定好的备份策略来定期备份redis中的数据。
AOF也可以做冷备,只不过它只有一个文件,但是我们可以去自己写程序,每隔一定时间,去copy一份这个文件出来。
RDB做冷备,优势在于由redis去控制固定时长生成快照文件的事情,比较方便,而 AOF,还需要我们自己写一些脚本去做这个事情,各种定时,比较麻烦。
RDB数据做冷备,在最坏的情况下,提供数据恢复的时候,速度比AOF快。
说了那么多AOF和RDB,那么生产系统对于这俩持久化机制到底该如何选择呢?
至于,RDB和AOF到底该如何选择,我觉得两种都选择,
1)不要仅仅使用RDB,因为那样会导致你丢失很多数据。
2)也不要仅仅使用AOF,因为那样有两个问题,
- 第一,你通过AOF做冷备,没有RDB做冷备,来的恢复速度更快;
- 第二,RDB每次简单粗暴生成数据快照,更加健壮,可以避免AOF这种复杂的备份和恢复机制的bug。
3)综合使用AOF和RDB两种持久化机制,用AOF来保证数据不丢失,作为数据恢复的第一选择; 用RDB来做不同程度的冷备,在AOF文件都丢失或损坏不可用的时候,还可以使用RDB来进行快速的数据恢复,作为数据恢复的最后一道防线。
好,今天就到这里,下次我们继续聊
终于结束了。
其实如果你的简历上写了掌握Redis
,那么如果面试官也比较精通Redis的话,他就会抓住你这一个Redis从浅入深的一直追着问,看看你到底对Redis了解多少,是不是平时自己真的积累过这些知识,是不是比别人要懂得多一点,经过一层一层的深挖,看看你能过几关。相对于其他竞争者可能几个回合就招架不住了,你要是能多战几个回合,面试官对你的印象也会越深,你的机会也就越大。
如果说就redis问你几个基础的问题,那面试官要么对redis了解不多,要么就看中了你简历中的其他亮点。
本系列文章在于面试突击,不是教程,要是细挖能讲好多,而面试你只需要把这个原理说出来就行了,如果边讲边画图那就更好了。
该系列文章在于快速突击,快速拾遗,温习。
原文地址:https://www.cnblogs.com/ibigboy/p/12205889.html