进阶的Redis之数据持久化RDB与AOF

大家都知道,Redis之所以性能好,读写快,是因为Redis是一个内存数据库,它的操作都几乎基于内存。但是内存型数据库有一个很大的弊端,就是当数据库进程崩溃或系统重启的时候,如果内存数据不保存的话,里面的数据就会丢失不见了。这样的数据库并不是一个可靠的数据库。

所以数据的持久化是内存型数据库的重中之重。它不仅提供数据保存硬盘的功能,还可以借此用硬盘容量扩展数据存储空间,使得Redis的可以存储超过机器本身内存大小的数据。

Redis对于数据持久化提供了两种持久化的方案,RDB与AOF。它们的原理和使用场景都大不相同,下面我们来详细地了解下。

RDB——数据快照(Snapshot)

RDB,提供一个某个时间点的数据的Snapshot,保存在RDB文件中。它可以通过SAVE/BGSAVE命令手动执行,把数据Snapshot写到RDB文件,也可以通过配置,定时执行。

Redis也可以通过加载RDB文件,把数据从磁盘加载读取到Redis中。

RDB文件创建

连上Redis,设值一些值,然后执行SAVE命令。

然后可以查看下redis.conf的持久化工作目录。进入目录可以看到保存了一个dump.rdb文件。该文件是一个二进制文件,无法直接正常打开。

至于SAVE/BGSAVE的区别,就是前置是阻塞执行,此时服务不会接受请求,后者是Fork一个子进程出来,由该进程去执行保存RDB文件的操作,不影响用户请求。

P.S. Redis是单进程的,所以BGSAVE只能Fork一个子进程,而不是创建一个线程处理。

以上是手动执行的过程。但在生产我们很少会手动登上服务去执行操作,所以更多的时候是依赖Redis的配置,定时保存RDB文件。

打开redis.conf配置文件,找到SNAPSHOTTING的配置,Save Point的设置。

图中的配置意思是,当至少有一个key变更时,900秒后会执行一次SAVE。其他配置同理,有10次变更,300秒后保存一次.....

在Redis中,这个自动保存RDB的功能是默认开启的。

RDB文件加载

先kill掉Redis进程,再重新启动Redis Server,会发现日志会有这样的一行,

并且Redis中,依然有之前设置的三个值。说明Redis在启动的时候,会加载数据初始化。

不过,这里加载的初始化数据不一定是RDB的。如果Redis开启了AOF,会优先从AOF初始化数据,否则才会加载RDB的数据。

(出处《Redis设计与实现》——黄健宏)

RDB优缺点

优点:

  1. RDB是某一时间点的快照,是一个紧凑的单文件,更多用于数据备份。可以按每小时或每日来备份,方便从不同的版本恢复数据。
  2. 单文件容易传输到远程服务做故障恢复。
  3. RDB可以Fork子进程进行持久化,使Redis可以更好地处理用户请求
  4. 在大量数据的情况下,RDB相比较于AOF会更快的加载。

缺点:

  1. 如果Redis不及时保存RDB文件,会造成数据的丢失。例如系统突然断电,但未来得及保存数据。即使你设置更多的Save point,也无法保证100%的数据不丢失。
  2. RDB经常需要fork子进程去执行,但如果再大量数据的情况下,这个fork操作会非常耗CPU资源的。对比AOF虽然也是fork,但是它的数据保存处理是可以控制的,不需要全量保存。

AOF——日志追加(Append-Only)

Redis的另外一种持久化方案就是AOF,Append Only File。AOF相当于一个操作的日志记录,每次对于数据的变更都会记录追加到AOF日志。当服务启动的时候就会读这些操作日志,重新执行一次操作,从而恢复原始数据。

AOF启用

AOF默认是关闭的。打开redis.conf配置文件,找到appendonly no改成appendonly yes

AOF和RDB是可以共存的,只要保存的文件名不冲突。

AOF fsync同步规则

配置文件往下拉,看到fsync的配置。

fsync()是一个系统调用函数,告诉操作系统把数据写到硬盘上,而不是缓存更多数据才写到硬盘。这样的调用可以及时保存数据到硬盘上。

Redis提供了三种fsync的调用方式

  • appendfsync always,每次操作记录都同步到硬盘上,最低效,最安全。
  • appendfsync everysec,每秒执行一次把操作记录同步到硬盘上。默认选项。
  • appendfsync no,不执行fysnc调用,让操作系统自动操作把缓存数据写到硬盘上,不可靠,但最快。

AOF文件格式解析

开启AOF后,会再工作目录看到appendonly.aof文件。

在客户端上执行一些命令后,打开AOF文件,可以观察到有对应的操作的记录日志。

文件解析说明:

  • *,表示命令的参数个数,例如set a 1是三个参数,所以是*3
  • $,表示参数的字节数,例如set这个参数是三字节,所以是$3,key值a是一个字节,所以是$1
  • 无符号,表示是参数的数据,例如set,a,1就是具体的数据

日志重写

AOF虽然比RDB更可靠,但缺点也是比较明显的,就是每次写操作都要把操作日志写到文件上,这样会导致文件非常冗余。

假若你要自增一个计数器100次,如果不重写,AOF文件就就会有这100次的自增记录,如INCR a。如果执行了日志重写,那么文件只会保留set a 100而不是100条INCR a。这样拥有相同的结果,但可以大大减少AOF的文件大小,并且可以让AOF载入的时候提升载入的效率。

看回redis.conf配置,有两项控制rewrite的选项。

  • auto-aof-rewrite-percentage 100,当文件增长100%(一倍)时候,自动重写。
  • auto-aof-rewrite-min-size 64mb,日志重写最小文件大小,如果小于该大小,不会自动重写。

来实验一下重写的结果,我们先设定一个a值,然后自增多次,查看AOF文件内容。里面有很多INCR的语句记录

然后我们手动执行下BGREWRITEOF,执行日志重写。

可以看到,多个incr语句,变成了一个set a 6语句,减少了5个incr a语句的操作日志。

AOF优缺点

优点:

  1. AOF可以设置 完全不同步、每秒同步、每次操作同,默认是每秒同步。因为AOF是操作指令的追加,所以可以频繁的大量的同步。
  2. AOF文件是一个值追加日志的文件,即使服务宕机为写入完整的命令,也可以通过redis-check-aof工具修复这些问题。
  3. 如果AOF文件过大,Redis会在后台自动地重写AOF文件。重写后会使AOF文件压缩到最小所需的指令集。
  4. AOF文件是有序保存数据库的所有写入操作,易读,易分析。即使如果不小心误操作数据库,也很容易找出错误指令,恢复到某个数据节点。例如不小心FLUSHALL,可以非常容易恢复到执行命令之前。

缺点

  1. 相同数据量下,AOF的文件通常体积会比RDB大。因为AOF是存指令的,而RDB是所有指令的结果快照。但AOF在日志重写后会压缩一些空间。
  2. 在大量写入和载入的时候,AOF的效率会比RDB低。因为大量写入,AOF会执行更多的保存命令,载入的时候也需要大量的重执行命令来得到最后的结果。RDB对此更有优势。

如何选择

以上已经基本了解过RDB和AOF的使用、基本原理以及对应的优缺点。那么在实际当中,我们到底怎么去选择用哪种持久化方式呢?

一般来说,不考虑硬盘大小,最安全的做法是RDB与AOF同时使用,即使AOF损坏无法修复,还可以用RDB来恢复数据。

如果Redis的数据在你的服务中并不是必要的数据,例如只是当简单的缓存,没有缓存也不会造成缓存雪崩。说明数据的安全可靠性并不是首要考虑范围内,那么单独只使用RDB就可以了。

不推荐单独使用AOF,因为AOF对于数据的恢复载入来说,比RDB慢。并且Redis官方也说明了,AOF有一个罕见的bug。出了问题无法很好的解决。所以使用AOF的时候,最好还是有RDB作为数据备份。


根据官方的意愿描述,在未来可能会有一种RDB与AOF相结合的持久化模型。到时Redis持久化就不再如此麻烦费劲了,我们拭目以待吧。



更多技术文章、精彩干货,请关注
博客:zackku.com
微信公众号:Zack说码

原文地址:http://blog.51cto.com/14073604/2327855

时间: 2024-08-12 16:31:03

进阶的Redis之数据持久化RDB与AOF的相关文章

redis学习之——持久化RDB 和AOF

RDB: 在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里.rdb 保存的是dump.rdb文件 RDB工作原理: Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件.整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方,式要比AOF方式更加

redis的数据持久化

就目前自己的理解redis和memcache的区别就是redis可以数据持久化,支持的数据类型有5种 所以就数据持久化这块可以好好了解一下 我们安装的redis的2.6版本,安装之后默认就已经开启了rdb 数据持久化分rdb和aof 快照:(snapshotting)它将某一时刻的的所以数据写入硬盘 只追加文件:(append-only file) 他会在执行写命令时,将会把写命令复制到磁盘里面 快照(rdb): save 900 1     #900秒时间,至少有一条数据更新,则保存到数据文件

redis的数据持久化存储

redis的数据持久化存储 Redis是一个支持持久化的内存数据库,也就是说redis需要经常将内存中的数据同步到硬盘来保证持久化.Redis支持两种持久化方式: 一.snapshotting(快照)方式快照是默认的持久化方式.这种方式是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb.我们可以配置redis在n秒内如果超过若干个key被修改就自动做快照持久保存. 在约87行,有默认的快照策略(指定在多长时间内,有多少次更新操作,就将数据同步到数据快照文件,可以多个条件

redis 系列16 持久化 RDB

原文:redis 系列16 持久化 RDB 一.概述 Redis是内存数据库,一旦服务器进程退出,服务器中的数据库内存数据状态也会消失.为了解决这个问题,Redis提供了RDB 持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘中,避免数据意外丢失. RDB持久化可以手动执行,也可以根据服务器配置选项定期执行,是在指定的时间间隔,对你的数据进行快照存储.该RDB文件快照是一个经过压缩的二进制文件.文件名为dump.rdb,该文件保存在redis目录下,当redis服务器停机后,只

redis的持久化 rdb和aof

1.rdb 当满足条件时,redis单独会fork(创建)一个新的线程,会先将内存中的数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次已经持久化好了的文件,整个过程中,主进程是不进行任何IO操作的,确保了极高的性能,此时的主进程还可以进行读写操作.rdb数据持久化的缺点是最后一次持久化的数据可能丢失,当在最后一次持久化的时间截点内还没有持久化,此时机器宕机了或出故障了,那么最后一次的数据就没有持久化到. Fork:fork的作用是复制一个与当前进程一样的进程,新进程的所有

redis持久化RDB和AOF

Redis 持久化: 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot). AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集. AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾. Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所

Redis 持久化RDB与AOF

Redis 持久化: 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot). AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集. AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾. Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所

Redis持久化RDB、AOF

持久化的意思就是保存,保存到硬盘.第一次接触这个词是在几年前学习EF. 为什么要持久化 redis定义:Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理.它支持字符串.哈希表.列表.集合.有序集合,位图,hyperloglogs等数据类型.内置复制.Lua脚本.LRU收回.事务以及不同级别磁盘持久化功能,同时通过Redis Sentinel提供高可用,通过Redis Cluster提供自动分区. 可以看出redis是一个内存的数据库,但是如果re

redis学习——数据持久化

一.概述 Redis的强大性能很大程度上都是因为所有数据都是存储在内存中的,然而当Redis重启后,所有存储在内存中的数据将会丢失,在很多情况下是无法容忍这样的事情的.所以,我们需要将内存中的数据持久化!典型的需要持久化数据的场景如下: 将Redis作为数据库使用: 将Redis作为缓存服务器使用,但是缓存miss后会对性能造成很大影响,所有缓存同时失效时会造成服务雪崩,无法响应. 本文介绍Redis所支持的两种数据持久化方式. 二.Redis数据持久化 Redis支持两种数据持久化方式:RDB