Redis之-AOF

AOF是基于日志的,类似于Oracle的redo,Mysql的binlog日志。

Aof 的配置
appendonly no # 是否打开 aof日志功能

appendfsync always # 每1个命令,都立即同步到aof. 安全,速度慢
appendfsync everysec # 折衷方案,每秒写1次
appendfsync no # 写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof. 同步频率低,速度快,

no-appendfsync-on-rewrite yes: # 正在导出rdb快照的过程中,要不要停止同步aof
auto-aof-rewrite-percentage 100 #aof文件大小比起上次重写时的大小,增长率100%时,重写
auto-aof-rewrite-min-size 64mb #aof文件,至少超过64M时,重写
appendfilename /var/dir/appendonly.aof #文件的路径

做个试验:
1,编辑redis.conf文件
开启aof功能,并命名aof filename
2,pkill -9 redis
3,重新启动redis
[[email protected] redis]# pkill -9 redis
[[email protected] redis]# ./bin/redis-server ./redis.conf
4,查看aof目录下aof文件
[[email protected] dir]# more laoyang-appendonly.aof --为空
5,设定几个键值,然后在查看aof文件
[[email protected] redis]# ./bin/redis-cli
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379> set site www.woda.com
OK
127.0.0.1:6379> set www baidu.com
OK

aof文件有内容产生了
[[email protected] dir]# more laoyang-appendonly.aof
2
$6
SELECT
$1
0
3
$3
set
$4
site
$12
www.woda.com
*3
$3
set
$3
www
$9
baidu.com

这样有个问题,如果是自动增长的值,同一个key,操作100次,aof来回要走100条记录。如何解决?
所有的key在内存中,有1个具体的状态,把key的值,逆化成命令
比如,set age 1 然后incr age了100次。那么最后aof 可以直接set age 101(这个操作叫aof重写)解决aof越来越大的问题。

【这两个参数控制】
auto-aof-rewrite-percentage 100 #aof文件大小比起上次重写时的大小,增长率100%时,重写
auto-aof-rewrite-min-size 64mb #aof文件,至少超过64M时,重写

使用工具来进行写入2w个命令
[[email protected] redis]# ./bin/redis-benchmark -n 20000

====== MSET (10 keys) ======
20000 requests completed in 0.32 seconds
50 parallel clients
3 bytes payload
keep alive: 1

95.03% <= 1 milliseconds
99.75% <= 7 milliseconds
100.00% <= 7 milliseconds
62695.92 requests per second ---持久化的时间增长

[[email protected] redis]# cd /var/dir/
[[email protected] dir]# ll
总用量 8
-rw-r--r-- 1 root root 116 6月 18 15:14 dump.rdb
-rw-r--r-- 1 root root 102 6月 18 15:02 laoyang-appendonly.aof
[[email protected] dir]# ll -h
总用量 13M
-rw-r--r-- 1 root root 1.7K 6月 18 15:32 dump.rdb
-rw-r--r-- 1 root root 13M 6月 18 15:32 laoyang-appendonly.aof

因为现在设定的重写是64M重写,我们插入20w数据试试

[[email protected] redis]# ./bin/redis-benchmark -n 200000
46.13% <= 1 milliseconds
87.99% <= 2 milliseconds
98.80% <= 3 milliseconds
99.72% <= 4 milliseconds
99.84% <= 5 milliseconds
99.89% <= 6 milliseconds
99.90% <= 8 milliseconds
99.91% <= 9 milliseconds
99.92% <= 10 milliseconds
99.93% <= 13 milliseconds
99.94% <= 14 milliseconds
99.95% <= 47 milliseconds
99.96% <= 48 milliseconds
99.97% <= 49 milliseconds
99.98% <= 55 milliseconds
100.00% <= 56 milliseconds
100.00% <= 56 milliseconds
36596.52 requests per second

[[email protected] dir]# ll -h
总用量 59M
-rw-r--r-- 1 root root 1.7K 6月 18 15:41 dump.rdb
-rw-r--r-- 1 root root 59M 6月 18 15:41 laoyang-appendonly.aof
[[email protected] dir]# ll -h
总用量 2.5M
-rw-r--r-- 1 root root 1.7K 6月 18 15:41 dump.rdb
-rw-r--r-- 1 root root 2.5M 6月 18 15:42 laoyang-appendonly.aof #重写了

这会儿也可能还有冗余命令,我们可以让在内存中的,重写一下。再次减少冗余
[[email protected] redis]# ./bin/redis-cli
127.0.0.1:6379> bgrewriteaof
Background append only file rewriting started
127.0.0.1:6379>

[[email protected] dir]# ll -h
总用量 5.2M
-rw-r--r-- 1 root root 16K 6月 18 15:44 dump.rdb
-rw-r--r-- 1 root root 5.2M 6月 18 15:44 laoyang-appendonly.aof #重写以前是5.2MB
[[email protected] dir]# ll -h
总用量 2.0M
-rw-r--r-- 1 root root 16K 6月 18 15:44 dump.rdb
-rw-r--r-- 1 root root 2.0M 6月 18 16:19 laoyang-appendonly.aof #重写以后是2MB,取消了一些冗余数据。

原文地址:https://blog.51cto.com/yangjunfeng/2410590

时间: 2024-08-04 21:10:39

Redis之-AOF的相关文章

Redis的AOF功能

引言:  Redis是基于内存的数据库,同时也提供了若干持久化的方案,允许用户把内存中的数据,写入本地文件系统,以备下次重启或者当机之后继续使用.本文将描述如何基于Redis来设置AOF功能 什么是Redis的AOF? AOF是AppendOnly File的缩写,是Redis系统提供了一种记录Redis操作的持久化方案,在AOF生成的文件中,将忠实记录发生在Redis的操作,从而达到在Redis服务器重启或者当机之后,继续恢复之前数据状态的机制. 以下我们来简要看看如何在Redis中使用AOF

redis 持久化 AOF RDB

Redis的AOF持久化策略是将发送到redis服务端的每一条命令都记录下来,并且保存到硬盘中的AOF文件中,类似打日志文件,来一条命令就记录一条. AOF设置 AOF文件的位置和RDB文件的位置相同,都是通过dir参数设置,默认的文件名是appendonly.aof,可以通过appendfilename参数来修改. AOF测试 当客户端向服务器发送一些redis命令时,Redis会将所执行的命令记录到aof文件中,如下所示: 当redis服务器重启后,会将执行该aof文件,达到数据恢复的目的.

Redis持久化——AOF(二)

核心知识点: 1.AOF:以独立日志的方式记录写命令,重启时再执行命令.与RDB不同的是解决数据持久化的实时性,可以记录所有写操作. 2.AOF工作流程:写入命令.文件同步.文件重写.文件加载. 3.命令写入 a.将命令以文本协议格式保存在缓存中. b.为什么使用文本协议格式?兼容性.避免二次开销.可读性. c.为什么写入到缓存?这样不会受制于磁盘的IO性能 4.文件同步:从内存同步到文件中,有三种机制,使用的系统命令是write或fsync. (1).write会触发写延迟,依赖系统的调度机制

第五章:Redis持久化-AOF持久化

AOF持久化 AOF全称append only file持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的: AOF主要作用是解决了数据实时持久化的问题: 使用AOF 开始AOF需要设置appendonly yes,默认不开启. AOF文件名通过appendonlyname配置,默认文件名为appendonly.aof: AOF工作流程操作:命令写入(append).文件同步(sync).文件重写(rewrite).重启加载(reload): 所有写入命

Redis持久化--AOF

除了RDB持久化之外,Redis还提供了AOF(Append Only File)持久化功能.与RDB持久化通过保存数据库中键值对来保存数据库的状态不同,AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库的状态.被写入AOF文件的所有命令都是以Redis的命令请求协议格式保存的,该格式是一种纯本文的格式,所以可以通过直接打开AOF文件,观察里面的类容. 1 AOF持久化的实现 AOF持久化功能的实现可以分为:命令追加(append),文件写入(write),文件同步(sync)三个

由redis持久化AOF重写想到Excel保存过程

redis的持久机制有两种,一种是snapshot,另一种是AOF重写.第一种机制是按事先定制的策略,周期性地异步或同步将数据从内存同步至磁盘,在客户端的操作是由SAVE或BGSAVE命令执行.而AOF重写则是记录写操作至指定的文件尾部实现持久化.AOF重写过程如下: (1) redis主进程通过fork创建子进程 (2)子进程根据当前redis内存中的数据生成数据库重建命令序列到临时文件中 (3)父进程继承client的新请求,把请求中的写操作继续追加至原来的AOF文件(而不是直接写入临  

Redis之AOF备份

redis在进行备份的时候有2种方式:1.RDB:2.AOF:现在主要讲哈AOF的备份 1.找到redis.config配置文件,大部分下载下来和redis-service同目录: 2.打开redies.config找到#appendonly noAOF配置节点进行配置 appendfsync always   # 每1个命令,都立即同步到aof. 安全,速度慢 appendfsync everysec # 折衷方案,每秒写1次 appendfsync no      # 写入工作交给操作系统,

15 redis 之 aof恢复与rdb服务器间迁移

三:常见的问题 BGREWRITEAOF 后台进程重写AOF BGSAVE 后台保存rdb快照 SAVE 保存rdb快照 LASTSAVE 上次保存时间 Slaveof master-Host port , 把当前实例设为master的slave Flushall 清空所有库所有键 Flushdb 清空当前库所有键 Showdown [save/nosave] 注: 如果不小心运行了flushall, 立即 shutdown nosave ,关闭服务器 然后 手工编辑aof文件, 去掉文件中的

redis参数AOF参数的bug

问题:redis 不想开启AOF了.但是还老是出现BGREWRITEAOF .(本redis版本为4.0.6) 涉及持久化参数设置如下: 排查及结果: 该redis以前开启过 AOF ,后来停止AOF.info信息里面的  aof_last_cow_size:153202688 信息不为0 当redis写入数据达到 auto-aof-rewrite-percentage * aof_last_cow_size 时候就会触发BGREWRITEAOF 尽管appendonly  no . 建议:re

Redis之AOF重写及其实现原理

Reference: https://blog.csdn.net/hezhiqiang1314/article/details/69396887 AOF 重写AOF 持久化是通过保存被执行的写命令来记录数据库状态的,所以AOF文件的大小随着时间的流逝一定会越来越大:影响包括但不限于:对于Redis服务器,计算机的存储压力:AOF还原出数据库状态的时间增加:为了解决AOF文件体积膨胀的问题,Redis提供了AOF重写功能:Redis服务器可以创建一个新的AOF文件来替代现有的AOF文件,新旧两个文