第五章:Redis持久化-AOF持久化

AOF持久化

AOF全称append only file持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的:

AOF主要作用是解决了数据实时持久化的问题;

使用AOF

开始AOF需要设置appendonly yes,默认不开启。

AOF文件名通过appendonlyname配置,默认文件名为appendonly.aof:

AOF工作流程操作:命令写入(append)、文件同步(sync)、文件重写(rewrite)、重启加载(reload):

  • 所有写入命令会追加到aof_buf缓冲区中
  • AOF缓冲区根据对应的策略向硬盘做同步操作
  • 随着AOF文件越来越大,需要定期对AOF文件做重写,达到压缩目的
  • 当Redis服务器重启时,可以加载AOF文件进行数据恢复。

命令写入

  • 采用文本协议格式具有更好的兼容性
  • 开始AOF后,所有写入命令都包含追加操作,直接采用协议格式,避免二次处理开销
  • 文本协议具有可读性,方便直接修改和处理
  • AOF通过追加到aof_buf缓冲区的方式,避免了直接追加到硬盘慢的问题,因为缓冲区时内存中的,相对于硬盘有更好的写入速度。另外,Redis可以提供多中缓冲区同步硬盘的策略;

文件同步

指缓存区数据同步到AOF文件的过程,有参数appendfsync控制;

  • always:命令写入aof_buf后调用系统fsync操作同步到aof文件
  • everysec:命令写入aof_buf后调用write操作,write完成后线程返回,fsync同步文件操作由专门线程每秒调用一次
  • no:命令写入aof_buf后,调用系统write操作,不对aof文件做fsync同步,同步硬盘操作由操作系统负责,通常同步周期为最长30秒;

write操作:触发延迟写机制,Linux在内核提供页缓存区用于提高硬盘IO性能,write操作在写入系统缓冲区后直接返回,同步 硬盘草最依赖于系统调度机制;

fsync操作:针对单个文件操作,比如aof文件,做强制硬盘同步,fsync将阻塞直到写入硬盘完成后返回,保证了数据持久化。

重写机制

AOF文件越来越大,Redis提供了重写机制压缩文件体积。

AOF文件重写是把Redis进程内的数据转化为写命令同步到AOF文件的过程;

  • 进程内已经超时的数据不在写入文件
  • 旧的AOF文件含有无效命令,重写使用进程内数据直接生成,这样新的AOF文件只保留最终数据的写入命令;
  • 多条写命令可以合并为一个。为了防止单条命令过大导致客户端缓冲区溢出,对于list、set、hash、zset等类型操作,以64位元素为界拆分为多条。

AOF重写后占用更少的空间;

AOF重写后文件更小,被Redis加载速度更快;

AOF重写触发过程:

  • 手动触发:调用bgrwriteaof命令
  • 自动触发:使用auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机;

auto-aof-rewrite-min-size:表示运行aof重写时文件最小体积,默认64M

auto-aof-rewrite-percentage:代表当前aof文件空间和上一次重写后aof文件空间的比例;

AOF重写流程:

  1. 执行AOF重写命令
  2. 父进程执行fork创建子进程,开销等同于bgsave
  3. 主进程fork进程后,继续响应其他请求,所有写命令依然写入AOF缓冲区并根据appendfsync策略同步到硬盘,保证原有AOF机制正确性;
  4. 由fork操作运用写时复制技术,子进程只能共享fork操作时的内存数据;由于父进程依然响应命令,Redis使用“AOF重写缓冲区”技术保存这部分数据,防止新的AOF文件生成期间丢失这部分数据;
  5. 子进程根据内存快照,按照命令合并规则写入到新的AOF文件,需要控制每次写入量,防止硬盘阻塞;
  6. 新的AOF文件写入完成后,子进程发送信号给父进程,父进程更新统计信息
  7. 父进程把aof重写缓冲区的数据写入到新的aof文件
  8. 使用新的aof文件替换老文件,完成aof重写;

重启加载

  1. AOF持久化开启且存在AOF文件时,优先加载aof文件
  2. aof关闭或者aof不存在时,加载rdb文件
  3. 加载aof/rdb文件成功后,redis启动成功
  4. aof/rdb文件存在错误时,redis启动失败并打印错误信息

文件校验

aof损坏时,使用redis-check-aof --fix命令进行修复,修复后使用diff -u对比数据的差异,找出丢失的数据,有些可以人工修改补全。

原文地址:https://www.cnblogs.com/use-D/p/10766040.html

时间: 2024-11-06 17:51:26

第五章:Redis持久化-AOF持久化的相关文章

一站式学习Redis 从入门到高可用分布式实践(慕课)第五章 Redis持久化的取舍和选择

Redis持久化的取舍和选择 持久化的作用 RDB AOF RDB和AOF的决择 原文地址:https://www.cnblogs.com/jiang910/p/10025879.html

redis源码分析(四)--aof持久化

Redis aof持久化 Redis支持两种持久化方式:rdb与aof,上一篇文章中已经大致介绍了rdb的持久化实现,这篇文章主要介绍aof实现. 与rdb方式相比,aof会使用更多的存储空间,因为它将数据以客户端命令的形式进行存储,并使用ascii编码.但它也有相应的优点,如支持append的方式保存db内容的变动,不需要像rdb方式一样一旦内容有变动,便需要重新完整生成文件才能将变动保存到文件中:同时在子进程持久化的过程中,可以累积客户端的命令到缓存中,最后将缓存内容添加到持久化生成的文件的

redis 持久化 AOF RDB

Redis的AOF持久化策略是将发送到redis服务端的每一条命令都记录下来,并且保存到硬盘中的AOF文件中,类似打日志文件,来一条命令就记录一条. AOF设置 AOF文件的位置和RDB文件的位置相同,都是通过dir参数设置,默认的文件名是appendonly.aof,可以通过appendfilename参数来修改. AOF测试 当客户端向服务器发送一些redis命令时,Redis会将所执行的命令记录到aof文件中,如下所示: 当redis服务器重启后,会将执行该aof文件,达到数据恢复的目的.

Linux 安装redis,redis发布订阅,持久化

安装redis 1.安装redis的方式 -yum (删除这个yum安装的redis,我们只用源码编译安装的) -rpm -源码编译 2.删除原本的redis yum remove redis -y 3.下载redis源码 wget http://download.redis.io/releases/redis-4.0.10.tar.gz 4.解压缩 tar -zxf redis-4.0.10.tar.gz 5.切换redis源码目录 cd redis-4.0.10.tar.gz 6.编译源文件

redis学习笔记——RDB和AOF持久化

为防止数据丢失,需要将 Redis 中的数据从内存中 dump 到磁盘,这就是持久化.Redis 提供两种持久化方式:RDB 和 AOF.Redis 允许两者结合,也允许两者同时关闭. RDB 可以定时备份内存中的数据集.服务器启动的时候,可以从 RDB 文件中恢复数据集. AOF(append only file) 可以记录服务器的所有写操作.在服务器重新启动的时候,会把所有的写操作重新执行一遍,从而实现数据备份.当写操作集过大(比原有的数据集还大),Redis 会重写写操作集. 值得一提的是

redis使用基础(五) ——Redis数据持久化

redis使用基础(五) --Redis数据持久化 (转载请附上本文链接--linhxx) 当服务器突然发生问题,或者redis重启,如果希望将数据持久化在硬盘中,下次开启redis还有数据时,redis提供了两种方案,一个叫做RDB(通过内存快照(Snapshotting)实现),另一个叫做AOF(日志追加(Append-only file)).通常结合两种方式来实现redis的持久化. 1.RDB RDB通过内存快照实现,会将redis当前的全部数据以快照的方式写入二进制文件中.实现快照有以

Redis AOF持久化和RDB持久化区别

一.redis持久化----两种方式 1.redis提供了两种持久化的方式,分别是RDB(Redis DataBase)和AOF(Append Only File). 2.RDB,简而言之,就是在不同的时间点,将redis存储的数据生成快照并存储到磁盘等介质上: 3.AOF,则是换了一个角度来实现持久化,那就是将redis执行过的所有写指令记录下来,在下次redis重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了. 4.其实RDB和AOF两种方式也可以同时使用,在这种情况

Redis详解(七)------ AOF 持久化

上一篇文章我们介绍了Redis的RDB持久化,RDB 持久化存在一个缺点是一定时间内做一次备份,如果redis意外down掉的话,就会丢失最后一次快照后的所有修改(数据有丢失).对于数据完整性要求很严格的需求,怎么解决呢? 本篇博客接着来介绍Redis的另一种持久化方式——AOF. 1.AOF简介 Redis的持久化方式之一RDB是通过保存数据库中的键值对来记录数据库的状态.而另一种持久化方式 AOF 则是通过保存Redis服务器所执行的写命令来记录数据库状态. 比如对于如下命令: RDB 持久

redis学习--的持久化数据备份(RDB和AOF)

接上一篇:安装window下的redis,redis可视化管理工具(Redis Desktop Manager)安装,基础使用,实例化项目 一.dump.rdb文件是怎么生成的 二.什么是redis持久化 三.redis的RDB是什么? 四.redis配置文件redis.config相关配置 五.redis优点 六.redis缺点 redis比memcache作为缓存数据库强大的地方:(1)支持数据类型比较多,(2)redis持久化功能. 一.dump.rdb文件是怎么生成的 在redis服务挂