redis 内存优化

最近做的一个系统大量使用redis,我们将大量的用户信息存放在redis中,内存一申请就是几百G,体量也是相当庞大。所以我们也在不断的想方法优化减少redis的内存使用,把我们的优化实践也分享出来。

采用Hash代替<K,V>键值对存储

因为是存放用户维度的数据,用户id(uid)往往会作为key,而一个用户会有多个信息,比如年龄,生日等等,比较容易想到的存储结构会采用Hash,将一个用户的多个信息作为hash里的不同field来存放

善用Hash,List,ZSet的ziplist压缩特性

Redis针对Hash,List,ZSet都实现了ziplist的压缩存储,可以通过配置最大元素不超过512,每个元素大小不超过64bytes,来判断是否要采用 !ziplist压缩格式 存储。

注意:虽然这个ziplist是否启用做成了配置参数,但对这个配置参数的修改要谨慎,因为ziplist是一个连续的数组空间,查找效率不是O(1)的,如果设置元素超过512太多,可能导致查找效率降低,反而影响性能。那为什么Redis会采用512*64bytes这样的默认配置呢?据说是这个大小可以被加载进CPU的Cache里,所以即使不是O(1),查找效率也是很快的。

优先使用数字类型,比String类型省空间

在Redis的内部,不管是数字类型,String类型,都会统一用一个叫redisObject的对象做一层封装:

typedef struct redisObject {    unsigned type:4;    unsigned encoding:4;    unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */
    int refcount;    void *ptr;
} robj;

可见,一个简简单单的”hello world”在redis里都不是直接11个bytes就搞定的,还有很多附加的属性,比如引用计数(内存回收)refcount,lru清理等信息。

但如果使用了上面提到的ziplist,redis对ziplist里元素做了裁剪,让数据更紧凑,所以针对数字,做了一些特别处理:

* |11000000| - 1 byte* Integer encoded as int16_t (2 bytes).
* |11010000| - 1 byte* Integer encoded as int32_t (4 bytes).
* |11100000| - 1 byte* Integer encoded as int64_t (8 bytes).
* |11110000| - 1 byte* Integer encoded as 24 bit signed (3 bytes).
* |11111110| - 1 byte* Integer encoded as 8 bit signed (1 byte).
* |1111xxxx| - (with xxxx between 0000 and 1101) immediate 4 bit integer.
* Unsigned integer from 0 to 12. The encoded value is actually from* 1 to 13 because 0000 and 1111 can not be used, so 1 should be
* subtracted from the encoded 4 bit value to obtain the right value.

先用1byte来表示不同的encode,针对大小不同的数字,分别采用不一样的内存空间来存储,比如0-127就是2个字节,128-32768就是4个字节等等。所以算下来,和String相比,大部分情况下更省内存。

另外,如果不是采用ziplist的存储方式,而是直接用redisObject这样相对庞大的对象存储呢?

如果能用数字,还是尽量使用数字类型,并且是小于10000的数字最好,因为:

#define OBJ_SHARED_INTEGERS 10000

redis考虑到redisObject这个庞大的对象占用过多内存的因素,将10000以下数字的redisObject做了一个对象池,其他地方都通过指针(4/8bytes)引用这个池里的redisObject,而不是各自存一份。

注: 以上都是针对Redis 3.2之前版本的分析,因为Redis 3.2对内存优化这部分做了很多改进,具体的改进点还未了解清楚。

最后,对坚持看完的同学送上一个非常有用的Redis内存分析工具: redis-rdb-tools,结合bgsave的dump文件,分析redis里的数据,可以看到底层存储是用的什么数据结构,占用了多少空间等信息。

时间: 2024-08-29 17:23:05

redis 内存优化的相关文章

如何用分布式缓存服务实现Redis内存优化

Redis是一种支持Key-Value等多种数据结构的存储系统,其数据特性是"ALL IN MEMORY",因此优化内存十分重要.在对Redis进行内存优化时,先要掌握Redis内存存储的特性比如字符串,压缩编码,整数集合等,再根据数据规模和所用命令需求去调整,从而达到空间和效率的最佳平衡. 但随着数据大幅增长,开发人员需要面对重新优化内存所带来开发和数据迁移的双重成本也越来越高.Redis所有的数据都在内存中,那么,我们是否可以通过简便高效的方式去实现Redis内存优化呢? 答案当然

Redis 内存优化方式

内存优化方式与参数 关闭 Redis 的虚拟内存[VM]功能,即 redis.conf 中 vm-enabled = no设置 redis.conf 中 maxmemory ,用于告知 Redis 当使用了多少物理内存后拒绝继续写入的请求,可防止 Redis 性能降低甚至崩溃可为指定的数据类型设置内存使用规则,从而提高对应数据类型的内存使用效率Hash 在 redis.conf 中有以下两个属性,任意一个超出设定值,则会使用 HashMap 存值hash-max-zipmap-entires 6

redis内存优化、持久化以及主从复制

Redis 数据库内存优化参数的配置,每种持久化方式的利与弊以及主从复制的原理以及配置 一.常用内存优化手段与参数 redis的性能如何是完全依赖于内存的,所以我们需要知道如何来控制和节省内存. 首先最重要的一点是不要开启Redis的VM选项,即虚拟内存功能,这个本来是作为Redis存储超出物理内存数据的一种数据在内存与磁盘换入换出的一个持久化策略,但是其内存管理成本非常的高,所以要关闭VM功能,请检查你的redis.conf文件中 vm-enabled 为 no. 其次最好设置下redis.c

redis内存优化方法

先来认识2个redis配置参数 hash-max-ziplist-entries : hash内部编码压缩列表的最大值,默认512 hash-max-zipmap-value : hash内部编码压缩列表单个key的最大值,默认64字节. 这是hash的配置,list,set,zset也有类似的配置参数. 先说结论:总结redis节约内存的方法. 1,使用对象共享池优化小整数对象. 2,数据优先使用整数,比字符串更节省空间. 3,操作优化.尽量避免字符串的追加操作,因为字符串存在预分配机制.追加

redis的内存优化【转】

Redis所有的数据都在内存中,而内存又是非常宝贵的资源.对于如何优化内存使用一直是Redis用户非常关注的问题.本文让我们深入到Redis细节中,学习内存优化的技巧.分为如下几个部分: 一.redisObject对象 二.缩减键值对象 三.共享对象池 四.字符串优化 五.编码优化 六.控制key的数量 一. redisObject对象 Redis存储的所有值对象在内部定义为redisObject结构体,内部结构如下图所示. Redis存储的数据都使用redisObject来封装,包括strin

Redis系列--内存淘汰机制(含单机版内存优化建议)

https://blog.csdn.net/Jack__Frost/article/details/72478400?locationNum=13&fps=1 每台redis的服务器的内存都是有限的,而且也不是所有的内存都用来存储信息.而且redis的实现并没有在内存这块做太多的优化,所以实现者为了防止内存过于饱和,采取了一些措施来管控内存. 文章结构:(1)内存策略:(2)内存释放机制原理:(3)项目中如何合理应用淘汰策略:(4)单机版Redis内存优化注意点. 一.内存策略:先来吃份官方文档

redis 如何做内存优化?

edis所有的数据都在内存中,而内存又是非常宝贵的资源.对于如何优化内存使用一直是Redis用户非常关注的问题.本文让我们深入到Redis细节中,学习内存优化的技巧.分为如下几个部分: 一.redisObject对象 二.缩减键值对象 三.共享对象池 四.字符串优化 五.编码优化 六.控制key的数量 一. redisObject对象 Redis存储的所有值对象在内部定义为redisObject结构体,内部结构如下图所示. Redis存储的数据都使用redisObject来封装,包括string

Redis 内存使用优化与存储

Redis 常用数据类型Redis 最为常用的数据类型主要有以下五种:• String• Hash• List• Set• Sorted set在具体描述这几种数据类型之前,我们先通过一张图了解下 Redis 内部内存管理中是如何描述这些不同数据类型的:首先 Redis 内部使用一个 redisObject 对象来表示所有的 key 和 value,redisObject 最主要的信息如上图所示:... Redis 常用数据类型 Redis 最为常用的数据类型主要有以下五种: • String

NoSQL数据库:Redis内存使用优化与存储

Redis常用数据类型 Redis最为常用的数据类型主要有以下五种: ●String ●Hash ●List ●Set ●Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的: 首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示:type代表一个value对象具体是何种数据类型,encoding是不同数据类型在redis内部的存储方式,比如:ty