关于redis的几件小事(六)redis的持久化

1.redis持久化的意义

redis持久化的意义,在于 故障恢复
如果没有对数据进行持久化,那么如果redis遇到灾难性的故障,就会丢失所有的数据。
如果通过redis的持久化机制将数据持久化到硬盘上面去,然后在定期将磁盘上的文件备份到一起其他的服务器上面(比如:云服务器),这样就可以保证即使redis遇到了灾难事故,也可以使用提前备份的文件对数据进行回复,之后丢失最近的一部分数据,而不会全部丢失数据。

2.redis的两种持久化方式

redis的持久化是跟高可用相关的。redis有两种持久化的方式,分别是RDB和AOF。

(1)RDB和AOF两种持久化机制介绍

RDB持久化机制,对redis中的数据执行周期性的持久化。
AOF机制对每条写入命令作为日志,以append-only的模式写入一个日志文件中,在redis重启的时候,可以通过回复AOF日志中的写入指令来重新构建整个数据集。
如果我们想要redis仅仅作为纯内存的缓存来用,那么可以禁止RDB和AOF所有持久化机制。
通过RDB或AOF,都可以将redis内存中的数据给持久化到磁盘上面去,然后可以将这些数据备份到别的地方去。
如果redis挂了,服务器上的内存和磁盘上的数据都丢了,可以从云服务上拷贝回来之前的数据,放到指定的目录中,然后重新启动redis,redis就会自动根据持久化数据文件中的数据,去恢复内存中的数据,继续对外提供服务。
如果同时使用RDB和AOF两种持久化机制,那么在redis重启的时候,会使用AOF来重新构建数据,因为AOF中的数据更加完整。

(2)RDB持久化机制的优点

①RDB会生成多个数据文件,每个数据文件代表了某一个时刻中redis的数据,这种多个数据文件的方式,非常适合做冷备。
做冷备优势 :由redis去控制固定时长生成快照文件的事情,比较方便;在最坏的情况下,提供数据恢复的时候,比AOF速度快。

②RDB持久化对redis对外提供的读写服务,影响非常小,可以让redis保持高性能,因为redis主进程会fork一个子进程,让子进程执行磁盘的IO操作来进行RDB持久化。
原因 :RDB直接写redis内存,只是在一定时候,才会将数据写入内存。AOF每次都是直接写文件,虽然可以快速的写os cache中,但还是要耗费一定时间,比RDB略慢一些。

③相对于AOF持久化机制来说,直接基于RDB数据文件来重启和恢复redis进程,更加快速。
原因 :AOF,存放的指令日志,做数据恢复的时候,其实是要回放和执行所有的指令日志,来恢复出来内存中的所有数据的。
RDB,就是一份数据文件,恢复的时候,直接加载到内存中即可。

(3)RDB持久化的缺点

①如果想要在redis故障时,尽可能少的丢失数据,那么RDB没有AOF好。因为RDB都是每隔一段时间去做的备份,如果redis宕机,那么就会丢失这一段时间内所有的数据。所以不适合做第一优先的恢复方案。

②RDB每次在fork子进程来执行RDB快照文件生成的时候,如果数据文件特别大,可能会导致对客户端提供的服务暂停数毫秒,设置数秒。
一般不要让RDB的间隔时间太长,否则每次生成的RDB文件太大了,对redis本身的性能也有影响。

(4)AOF持久化的优点

①AOF可以更好的保护数据不丢失。
原因 :一般AOF会每隔1秒,通过一个后台进程执行一次fsync操作。将 os cache里面的数据刷到磁盘里面去,这样就算redis挂了,也至多丢失一秒钟的数据。

②AOF日志文件是以append-only模式写入,所以没有任何的磁盘寻址的开销,写入性能非常高,而且文件不容易破损,即使文件维普破损,也很容易修复。

③AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。
原因 :因为在rewrite log的时候,会对其中的指令进行压缩,创建出一份恢复数据的最小日志出来。在创建新日志文件的时候,老的日志文件还是照常写入。当新的merge后的日志文件ready的时候,再交换新老日志文件即可。

④AOF日志文件的命令是通过非常可读的方式进行记录的,这非常适合做 误删除这种操作的紧急回复。
原因 :比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据。

(5)AOF持久化的缺点

①对于同一份数据来说,AOF日志通常比RDB文件更大。

②AOF开启后,支持的QPS会比RDB支持的QPS低。
原因 :因为AOF一般会配置成每秒fsync一次日志文件,当然,每一秒fsync性能还是可以的。

③AOF比RDB更加脆弱,可能会出现恢复出来的数据不一致的情况。类似AOF这种较为复杂的基于命令日志/merge/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug。不过AOF就是为了避免rewrite过程导致的bug,因此每次rewrite并不是基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的重新构建,这样健壮性会好很多。

④在做数据恢复的时候比较慢,想用来做冷备、定期备份比较麻烦,可能要自己写脚本去做。不太适合做冷备。

(6)RDB和AOF如何选择

①不要仅仅使用RDB,这样会导致丢失很多数据。

②也不要仅仅使用AOF,因为使用AOF做冷备恢复速度太慢,还有可能会出现数据不一致。

③综合使用RDB和AOF两种持久化机制,用AOF保证数据不丢失,作为数据恢复的第一选择;用RDB来做不同程度的冷备,在AOF文件都丢失或者不可以的时候,还可以用RDB来进行快速的数据恢复。

原文地址:https://www.cnblogs.com/jack1995/p/10914963.html

时间: 2024-11-02 15:56:14

关于redis的几件小事(六)redis的持久化的相关文章

关于redis的几件小事(九)redis的并发竞争问题

1.什么是并发竞争 就是多客户端同时并发写一个key,可能本来应该先到的数据后到了,导致数据版本错了.或者是多客户端同时获取一个key,修改值之后再写回去,只要顺序错了,数据就错了. 2.怎么解决 采用分布式锁+数据修改的时间戳 方案来解决. ①想要向缓存中写入数据时,必须要获得分布式锁,只有获得锁了才可以去进行缓存数据的写入,写入结束释放锁.就可以保证同时只有一个客户端去写缓存. ②可是并不能保证每个客户端获取锁的顺序.但是我们要写入缓存的数据都是从数据库查询出来的,数据库都是有这种数据的创建

关于Redis的几件小事 | 高并发和高可用

如果你用redis缓存技术的话,肯定要考虑如何用redis来加多台机器,保证redis是高并发的,还有就是如何让Redis保证自己不是挂掉以后就直接死掉了. redis高并发:主从架构,一主多从,一般来说,很多项目其实就足够了,单主用来写入数据,单机几万QPS,多从用来查询数据,多个从实例可以提供每秒10万的QPS. redis高并发的同时,还需要容纳大量的数据:一主多从,每个实例都容纳了完整的数据,比如redis主就10G的内存量,其实你就最对只能容纳10g的数据量.如果你的缓存要容纳的数据量

redis实现cache系统实践(六)

1. 介绍 rails中就自带有cache功能,不过它默认是用文件来存储数据的.我们要改为使用redis来存储.而且我们也需要把sessions也存放到redis中.关于rails实现cache功能的源码可见于这几处: https://github.com/rails/rails/blob/master/activesupport/lib/active_support/cache.rb https://github.com/rails/rails/tree/master/activesuppor

php商城秒杀,可以购买多件商品,redis防高并发

<?php header('content-type:text/html;charset=utf-8');echo time();class SeckillRedis { static protected $validity_time = 30; // 有效期 5分钟 protected $goods_id; protected $user_queue_key; protected $goods_number_key; protected $user_id; public function __

Redis是单线程的,但Redis为什么这么快?

近乎所有与Java相关的面试都会问到缓存的问题,基础一点的会问到什么是"二八定律".什么是"热数据和冷数据",复杂一点的会问到缓存雪崩.缓存穿透.缓存预热.缓存更新.缓存降级等问题,这些看似不常见的概念,都与我们的缓存服务器相关,一般常用的缓存服务器有Redis.Memcached等,而笔者目前最常用的也只有Redis这一种. 如果你在以前面试的时候还没有遇到过面试官问你<为什么说Redis是单线程的以及Redis为什么这么快!>,那么你看到这篇文章的时

分布式缓存技术redis学习系列(四)——redis高级应用(集群搭建、集群分区原理、集群操作)

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性--集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi

Redis的安装和使用之------Redis相关运用

一.简介 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统.Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式

redis使用基础(九) ——Redis虚拟内存

redis使用基础(九) --Redis虚拟内存 (转载请附上本文链接--linhxx) 一.概述 Redis的数据是保存在内存中,当物理内存不足,其会保存在虚拟内存(VM)中.Redis的vm类似操作系统的vm,其会把所有的键都存在内存中,而把部分很少被访问到的值放在硬盘中. 操作系统的vm是基于页的概念,linux每个页4KB,而redis很多对象远小于4KB.另外,redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据,这样可以减少很多的I/O操作. redis的虚拟内

redis使用基础(二) ——Redis数据类型

redis使用基础(二) --Redis数据类型 (转载请附上本文链接--linhxx)  一.概述 Redis是一种Key-Value类型的数据库,属于非关系型数据库,NoSQL的一种.Redis共有5种数据类型:字符串(string).散列(hash).列表(list).集合(set).有序集合(zset). 1.通配符 Redis支持部分通配符,包括?.*.[].\x,和正则表达式一致,?表示匹配0或1个,*匹配任意个,[]匹配框内的任意一个内容,\x转义,例如\?表示匹配?. 2.获取键