Redis实战(八)Redis的持久化

Redis相比Memcached的很大一个优势是支持数据的持久化

通常持久化的场景一个是做数据库使用,另一个是Redis在做缓存服务器时,防止缓存失效。

Redis的持久化主要有快照Snapshotting和AOF日志文件两种方式。

前者会根据配置的规则定时将内存中的数据持久化到硬盘上,

后者则是在每次执行写命令之后将命令记录下来。

>>RDB方式

Redis是会以快照的形式将数据持久化到磁盘上。

默认会将快照文件存储在Redis当前进程的工作目录的dump.rdb文件中,

可以通过配置文件中的dir和dbfilename两个参数分别指定快照文件的存储路径和文件名。

如何执行快照保存

Redis使用fork函数复制一份当前进程(父进程)的副本(子进程);
父进程继续处理来自客户端的请求,子进程开始将内存中的数据写入硬盘中的临时文件;
当子进程写完所有的数据后,用该临时文件替换旧的RDB文件,至此,一次快照操作完成。
需要注意的是:
在执行fork是时候操作系统(类Unix操作系统)会使用写时复制(copy-on-write)策略,
即fork函数发生的一刻,父进程和子进程共享同一块内存数据,当父进程需要修改其中的某片数据(如执行写命令)时,
操作系统会将该片数据复制一份以保证子进程不受影响,所以RDB文件存储的是执行fork操作那一刻的内存数据。
所以RDB方式理论上是会存在丢数据的情况的(fork之后修改的的那些没有写进RDB文件)。
RDB文件是经过压缩处理的二进制文件,所以占用的空间会小于内存中数据的大小,更有利于传输。
Redis启动时会自动读取RDB快照文件,将数据从硬盘载入到内存。

Redis执行快照的规则

1.根据配置规则进行自动快照

下面是默认的快照保存配置:
save 900 1 #900秒内如果超过1个key被修改,则发起快照保存
save 300 10 #300秒内如果超过10个key被修改,则发起快照保存
save 60 10000 #60秒内如果超过10000个key被修改,则发起快照保存
每个快照条件是||的关系,满足一个系统就会执行。

2.用户执行SAVE, BGSAVE命令
执行SAVE命令时,Redis会同步进行快照操作,期间会阻塞所有来自客户端的请求;
执行BGSAVE命令时,这个命令是在后台异步进行的,进行快照操作的同时还能处理来自客户端的请求。

3.执行复制(replication)时
当使用多台服务器时,Redis提供了复制功能,可以实现自动同步。复制的原理同样是使用快照,
主数据库在后台保存快照,并且将快照期间的客户端请求命令缓存起来,快照完成后,将快照文件和缓存命令一起发送给从数据库,从而实现数据的同步。

>>AOF方式

默认情况下,Redis没有开启AOF方式的持久化,可以查看配置文件:

appendonly no

需要在配置文件中将appendonly参数开启:

appendonly yes

开启之后,Redis每执行一条写命令就会将该命令写入硬盘中的AOF文件。

AOF文件和RDB文件在同一路径下,可以通过appendonlyfilename参数修改配置:

# The name of the append only file (default: "appendonly.aof")
appendfilename "appendonly.aof"

AOF的实现

AOF以纯文本的形式记录了Redis执行的写命令,我修改上面的配置后,重启Redis,执行下面的命令:
redis> set key1 value1
OK
redis> set key2 value2
OK
redis> set key1 value3
OK
然后查看Redis路径下的文件:
[email protected]:/data/redis-3.0.3$ cat appendonly.aof
set   
$4   
key1   
$6  
value1  
*3  
$3  
set  
$4           
key2          
$6          
value2          
*3          
$3          
set          
$4          
key1          
$6          
value3

Redis重写

注意我上面做了一次覆盖的操作,并且被AOF文件记录下来了,
实际使用中遇到反复修改的数据,这么做是很浪费资源的,
Redis可以清除AOF文件中的无效的命令,即Redis的重写,并且可以在配置文件中配置重写规则:

# Automatic rewrite of the append only file.
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

配置文件中对这两项做了说明:

# Redis is able to automatically rewrite the log file implicitly calling
# BGREWRITEAOF when the AOF log size grows by the specified percentage.
# This is how it works: Redis remembers the size of the AOF file after the
# latest rewrite (if no rewrite has happened since the restart, the size of
# the AOF at startup is used).
# This base size is compared to the current size. If the current size is
# bigger than the specified percentage, the rewrite is triggered. Also
# you need to specify a minimal size for the AOF file to be rewritten, this
# is useful to avoid rewriting the AOF file even if the percentage increase
# is reached but it is still pretty small.
# Specify a percentage of zero in order to disable the automatic AOF
# rewrite feature.

即当AOF文件大小超过最近一次重写时文件的百分之多少,并且AOF文件大于配置的最小值时,触发Redis重写操作。

同时可以执行BGREWRITEAOF命令,手动进行重写,

我做了一次这个操作,再查看AOF文件:
SET
$4
key2
$6
value2
*3
$3
SET
$4
key1
$6
value3

虽然每次执行更改,AOF文件都会记录,但实际上由于操作系统的缓存机制,
默认情况下系统会每30秒执行一次同步,将硬盘缓存中的数据真正写入到硬盘,
这中间如果应用发生异常则不能保存这部分数据。

Redis可以配置在写入AOF文件时执行同步操作的规则:

# appendfsync always 每次写入都会执行同步操作
appendfsync everysec 每秒进行一次同步
# appendfsync no 不主动进行同步

一般来说每秒钟进行同步已经足够,这也是Redis默认的规则。

时间: 2024-12-17 05:10:55

Redis实战(八)Redis的持久化的相关文章

Redis实战之Redis + Jedis[转]

http://blog.csdn.net/it_man/article/details/9730605 2013-08-03 11:01 1786人阅读 评论(0) 收藏 举报 目录(?)[-] 一简单使用Jedis 二池化使用Jedis 三一致性哈希 四Spring封装参考 用Memcached,对于缓存对象大小有要求,单个对象不得大于1MB,且不支持复杂的数据类型,譬如SET 等.基于这些限制,有必要考虑Redis! 相关链接: Redis实战 Redis实战之Redis + Jedis R

Redis实战总结-配置、持久化、复制

Redis的配置主要放置在redis.conf,可以通过修改配置文件实现Redis许多特性,比如复制,持久化,集群等. redis.conf部分配置详解 # 启动redis,显示加载配置redis.conf # ./redis-server /path/to/redis.conf # 停止redis # redis-cli -h IP -p PORT shutdown # 可以包含一个或多个其他配置文件,如果多个redis服务器存在标准配置模板,但是每隔redis服务器可能有个性化的配置 # i

redis实战之事物和持久化

阅读目录 1. 事务描述 2. redis事务处理 3. redis事务示例 4. redis持久化 回到顶部 1. 事务描述 (1)什么是事务 事务,就是把一堆事情绑在一起,按顺序的执行,都成功了才算完成,否则恢复之前的样子 事务必须服从ACID原则,ACID原则分别是原子性(atomicity).一致性(consistency).隔离性(isolation)和持久性(durability) 原子性:操作这些指令时,要么全部执行成功,要么全部不执行.只要其中一个指令执行失败,所有的指令都执行失

Redis实战之Redis命令

阅读目录 1. 字符串命令 2. 列表命令 3. 集合命令 4. 散列命令 5. 有序集合命令 6. 发布与订阅命令 7. 小试牛刀 Redis可以存储键与5种不同数据结构类型之间的映射,这5种数据结构类型分别为string(字符串),list(列表),set(集合),hash(散列),zset(有序集合),下面将分别对这5种数据类型的控制命令进行总结,熟话说好记性不如烂笔头,方便以后查看. 回到顶部 1. 字符串命令 Redis种的字符串有三种类型的值:字节,整数和浮点数 (1)命令列表 SE

Redis实战之征服 Redis + Jedis + Spring (二)

不得不说,用哈希操作来存对象,有点自讨苦吃! 不过,既然吃了苦,也做个记录,也许以后API升级后,能好用些呢?! 或许,是我的理解不对,没有真正的理解哈希表. 相关链接: Redis实战 Redis实战之Redis + Jedis Redis实战之征服 Redis + Jedis + Spring (一) Redis实战之征服 Redis + Jedis + Spring (二) Redis实战之征服 Redis + Jedis + Spring (三) 一.预期 接上一篇,扩充User属性:

Redis实战之征服 Redis + Jedis + Spring (三)

一开始以为Spring下操作哈希表,列表,真就是那么土.恍惚间发现“stringRedisTemplate.opsForList()”的强大,抓紧时间恶补下. 通过spring-data-redis完成LINDEX, LLEN, LPOP, LPUSH, LRANGE, LREM, LSET, LTRIM, RPOP, RPUSH命令.其实还有一些命令,当前版本不支持.不过,这些List的操作方法可以实现队列,堆栈的正常操作,足够用了. 相关链接: Redis实战 Redis实战之Redis +

Redis实战之征服 Redis + Jedis + Spring (一)

相关链接: Redis实战 Redis实战之Redis + Jedis Redis实战之征服 Redis + Jedis + Spring (一) Redis实战之征服 Redis + Jedis + Spring (二) Redis实战之征服 Redis + Jedis + Spring (三) 前文有述,Spring提供了对于Redis的专门支持:spring-data-redis.此外,类似的还有: 我想大部分人对spring-data-hadoop.spring-data-mongodb

Redis实战 | 持久化、主从复制特性和故障处理思路

前言 前面两篇我们了解了Redis的安装.Redis最常用的5种数据类型.本篇总结下Redis的持久化.主从复制特性,以及Redis服务挂了之后的一些处理思路. 前期回顾传送门: Linux下安装Redis简易教程Redis实战 | 5种Redis数据类型详解 Redis的两种持久化方式 经常有面试官会问:Redis数据存储在内存中,万一断电了怎么办呢? 不要慌,这个其实就是在问Redis的持久化策略啦.我们知道,保存在内存中的数据,在服务重启或者是机器挂掉之后是会丢失的.而硬盘中的数据是不会丢

深入学习Redis(2):持久化

前言 在上一篇文章中,介绍了Redis的内存模型,从这篇文章开始,将依次介绍Redis高可用相关的知识--持久化.复制(及读写分离).哨兵.以及集群. 本文将先说明上述几种技术分别解决了Redis高可用的什么问题:然后详细介绍Redis的持久化技术,主要是RDB和AOF两种持久化方案:在介绍RDB和AOF方案时,不仅介绍其作用及操作方法,同时介绍持久化实现的一些原理细节及需要注意的问题.最后,介绍在实际使用中,持久化方案的选择,以及经常遇到的问题等. 原创不易,如果觉得文章对你有帮助,欢迎点赞.

redis实战 pdf 完整版 PDF高清下载

<redis实战>深入浅出地介绍了Redis的5种数据类型,并通过多个实用示例展示了Redis的用法. 除此之外,书中还讲述了Redis的优化方法以及扩展方法,是一本对于学习和使用 Redis 来说不可多得的参考书籍.<redis实战>一共由三个部分组成. 部分对Redis进行了介绍,说明了Redis的基本使用方法.它拥有的5种数据结构以及操作这5种数据结构的命令,并讲解了如何使用Redis去构建文章展示网站.cookie.购物车.网页缓存.数据库行缓存等一系列程序. 第二部分对R