Redis的五种对象类型及其底层实现

目录(?)[-]

  1. Redis对象类型简介
  2. Redis对象底层数据结构
    1. 字符串对象
    2. 列表对象
    3. 哈希对象
    4. 集合对象
    5. 有序集合对象
  3. 结尾

Redis对象类型简介

Redis是一种key/value型数据库,其中,每个key和value都是使用对象表示的。比如,我们执行以下代码:

  1. redis>SET message "hello redis"

其中的key是message,是一个包含了字符串"message"的对象。而value是一个包含了"hello redis"的对象。

Redis共有五种对象的类型,分别是:

类型常量 对象的名称
REDIS_STRING 字符串对象
REDIS_LIST 列表对象
REDIS_HASH 哈希对象
REDIS_SET 集合对象
REDIS_ZSET 有序集合对象

Redis中的一个对象的结构体表示如下:

  1. /*
  2. * Redis 对象
  3. */
  4. typedef struct redisObject {
  5. // 类型
  6. unsigned type:4;
  7. // 不使用(对齐位)
  8. unsigned notused:2;
  9. // 编码方式
  10. unsigned encoding:4;
  11. // LRU 时间(相对于 server.lruclock)
  12. unsigned lru:22;
  13. // 引用计数
  14. int refcount;
  15. // 指向对象的值
  16. void *ptr;
  17. } robj;

type表示了该对象的对象类型,即上面五个中的一个。但为了提高存储效率与程序执行效率,每种对象的底层数据结构实现都可能不止一种。encoding就表示了对象底层所使用的编码。下面先介绍每种底层数据结构的实现,再介绍每种对象类型都用了什么底层结构并分析他们之间的关系。

Redis对象底层数据结构

底层数据结构共有八种,如下表所示:

编码常量 编码所对应的底层数据结构
REDIS_ENCODING_INT long 类型的整数
REDIS_ENCODING_EMBSTR embstr 编码的简单动态字符串
REDIS_ENCODING_RAW 简单动态字符串
REDIS_ENCODING_HT 字典
REDIS_ENCODING_LINKEDLIST 双端链表
REDIS_ENCODING_ZIPLIST 压缩列表
REDIS_ENCODING_INTSET 整数集合
REDIS_ENCODING_SKIPLIST 跳跃表和字典

字符串对象

字符串对象的编码可以是int、raw或者embstr。

如果一个字符串的内容可以转换为long,那么该字符串就会被转换成为long类型,对象的ptr就会指向该long,并且对象类型也用int类型表示。

普通的字符串有两种,embstr和raw。embstr应该是Redis 3.0新增的数据结构,在2.8中是没有的。如果字符串对象的长度小于39字节,就用embstr对象。否则用传统的raw对象。可以从下面这段代码看出:

  1. #define REDIS_ENCODING_EMBSTR_SIZE_LIMIT 39
  2. robj *createStringObject(char *ptr, size_t len) {
  3. if (len <= REDIS_ENCODING_EMBSTR_SIZE_LIMIT)
  4. return createEmbeddedStringObject(ptr,len);
  5. else
  6. return createRawStringObject(ptr,len);
  7. }

embstr的好处有如下几点:

  • embstr的创建只需分配一次内存,而raw为两次(一次为sds分配对象,另一次为objet分配对象,embstr省去了第一次)。
  • 相对地,释放内存的次数也由两次变为一次。
  • embstr的objet和sds放在一起,更好地利用缓存带来的优势。

需要注意的是,redis并未提供任何修改embstr的方式,即embstr是只读的形式。对embstr的修改实际上是先转换为raw再进行修改。

raw和embstr的区别可以用下面两幅图所示:

列表对象

列表对象的编码可以是ziplist或者linkedlist。

ziplist是一种压缩链表,它的好处是更能节省内存空间,因为它所存储的内容都是在连续的内存区域当中的。当列表对象元素不大,每个元素也不大的时候,就采用ziplist存储。但当数据量过大时就ziplist就不是那么好用了。因为为了保证他存储内容在内存中的连续性,插入的复杂度是O(N),即每次插入都会重新进行realloc。如下图所示,对象结构中ptr所指向的就是一个ziplist。整个ziplist只需要malloc一次,它们在内存中是一块连续的区域。

linkedlist是一种双向链表。它的结构比较简单,节点中存放pre和next两个指针,还有节点相关的信息。当每增加一个node的时候,就需要重新malloc一块内存。

哈希对象

哈希对象的底层实现可以是ziplist或者hashtable。

ziplist中的哈希对象是按照key1,value1,key2,value2这样的顺序存放来存储的。当对象数目不多且内容不大时,这种方式效率是很高的。

hashtable的是由dict这个结构来实现的

  1. typedef struct dict {
  2. dictType *type;
  3. void *privdata;
  4. dictht ht[2];
  5. long rehashidx; /* rehashing not in progress if rehashidx == -1 */
  6. int iterators; /* number of iterators currently running */
  7. } dict;

dict是一个字典,其中的指针dicht ht[2] 指向了两个哈希表

 

  1. typedef struct dictht {
  2. dictEntry **table;
  3. unsigned long size;
  4. unsigned long sizemask;
  5. unsigned long used;
  6. } dictht;

dicht[0] 是用于真正存放数据,dicht[1]一般在哈希表元素过多进行rehash的时候用于中转数据。

dictht中的table用语真正存放元素了,每个key/value对用一个dictEntry表示,放在dictEntry数组中。

集合对象

集合对象的编码可以是intset或者hashtable。

intset是一个整数集合,里面存的为某种同一类型的整数,支持如下三种长度的整数:

  1. #define INTSET_ENC_INT16 (sizeof(int16_t))
  2. #define INTSET_ENC_INT32 (sizeof(int32_t))
  3. #define INTSET_ENC_INT64 (sizeof(int64_t))

intset是一个有序集合,查找元素的复杂度为O(logN),但插入时不一定为O(logN),因为有可能涉及到升级操作。比如当集合里全是int16_t型的整数,这时要插入一个int32_t,那么为了维持集合中数据类型的一致,那么所有的数据都会被转换成int32_t类型,涉及到内存的重新分配,这时插入的复杂度就为O(N)了。是intset不支持降级操作。

有序集合对象

有序集合的编码可能两种,一种是ziplist,另一种是skiplist与dict的结合。

ziplist作为集合和作为哈希对象是一样的,member和score顺序存放。按照score从小到大顺序排列。它的结构不再复述。

skiplist是一种跳跃表,它实现了有序集合中的快速查找,在大多数情况下它的速度都可以和平衡树差不多。但它的实现比较简单,可以作为平衡树的替代品。它的结构比较特殊。下面分别是跳跃表skiplist和它内部的节点skiplistNode的结构体:

  1. /*
  2. * 跳跃表
  3. */
  4. typedef struct zskiplist {
  5. // 头节点,尾节点
  6. struct zskiplistNode *header, *tail;
  7. // 节点数量
  8. unsigned long length;
  9. // 目前表内节点的最大层数
  10. int level;
  11. } zskiplist;
  12. /* ZSETs use a specialized version of Skiplists */
  13. /*
  14. * 跳跃表节点
  15. */
  16. typedef struct zskiplistNode {
  17. // member 对象
  18. robj *obj;
  19. // 分值
  20. double score;
  21. // 后退指针
  22. struct zskiplistNode *backward;
  23. // 层
  24. struct zskiplistLevel {
  25. // 前进指针
  26. struct zskiplistNode *forward;
  27. // 这个层跨越的节点数量
  28. unsigned int span;
  29. } level[];
  30. } zskiplistNode;

head和tail分别指向头节点和尾节点,然后每个skiplistNode里面的结构又是分层的(即level数组)

用图表示,大概是下面这个样子:

每一列都代表一个节点,保存了member和score,按score从小到大排序。每个节点有不同的层数,这个层数是在生成节点的时候随机生成的数值。每一层都是一个指向后面某个节点的指针。这种结构使得跳跃表可以跨越很多节点来快速访问。

前面说到了,有序集合ZSET是有跳跃表和hashtable共同形成的。

  1. typedef struct zset {
  2. // 字典
  3. dict *dict;
  4. // 跳跃表
  5. zskiplist *zsl;
  6. } zset;

为什么要用这种结构呢。试想如果单一用hashtable,那可以快速查找、添加和删除元素,但没法保持集合的有序性。如果单一用skiplist,有序性可以得到保障,但查找的速度太慢(logN)。

结尾

简单介绍了Redis的五种对象类型和它们的底层实现。事实上,Redis的高效性和灵活性正是得益于对于同一个对象类型采取不同的底层结构,并在必要的时候对二者进行转换;以及各种底层结构对内存的合理利用。

时间: 2024-10-07 15:33:22

Redis的五种对象类型及其底层实现的相关文章

redis的五种存储类型的具体用法

String 类型操作 string是redis最基本的类型,而且string类型是二进制安全的.意思是redis的string可以包含任何数据.比如jpg图片或者序列化的对象 $redis->set('key','TK'); $redis->set('number','1'); $redis->setex('key',5,'TK'); //设置有效期为5秒的键值 $redis->psetex('key',5000,'TK'); //设置有效期为5000毫秒(同5秒)的键值 $re

轻松搞定高并发:详解Redis的五种数据类型及应用场景分析!

一.Redis基本概念介绍和特性 1.1 Redis基本概念介绍 1.Redis是远程的,有客户端和服务端,我们一般说的是服务端: 2.Redis是基于内存的,所以比基于硬盘的MySQL要快很多,但非常吃内存 3.Redis是非关系型数据库.本质上也是数据库,但MySQL关系型数据库存储时必须定义数据词典,而Redis则不需要. 1.2 Redis 和 Memcached比较 Redis数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的

spring框架学习6:spring-aop的五种通知类型

使用springaop时需要注意,如果bean对象,即service层的对象没有实现接口的话,使用spring-aop的话会报错,因此需要在service层创建接口. spring-aop的基层是基于动态代理来实现的,动态代理的实现有两种方式: 1.jdk动态代理 spring模式默认使用jdk动态代理,jdk动态代理要求目标类的对象必须实现一个接口,而且获取目标类对象的时候要做向上转型为接口. 2.cglib动态代理 cglib代理方式spring aop也支持,cglib实现动态代理的时候,

Redis入门到高可用(四)—— Redis的五种数据结构的内部编码

Redis的五种数据结构的内部编码 原文地址:https://www.cnblogs.com/thiaoqueen/p/9054083.html

redis的五种数据类型

redis的五种数据类型 redis客户端建立 ./redis-cli -h 192.168.1.22 -p 6380 --raw 1.String 应用场景: 统计网站访问数量.当前在线人数.微博数.粉丝数等,全局递增ID等 . 常用命令: SET key value GET key MSET key1 value1 [key2 value2] MGET key1 key2 INCR key DECR key SETNX key value  #只有key 不存在时,才设置key的值 2.Ha

spring aop的五种通知类型

昨天在腾讯课堂看springboot的视频,老师随口提问,尼玛竟然回答错了.特此记录! 问题: Spring web项目如果程序启动时出现异常,调用的是aop中哪类通知? 正确答案是: 异常返回通知. 回答问题的关键是,你得知道aop有哪几种通知类型吧! spring aop通知(advice)分成五类: 前置通知[Before advice]: 在连接点前面执行,前置通知不会影响连接点的执行,除非此处抛出异常. 正常返回通知[After returning advice]: 在连接点正常执行完

IDEA里五种目录类型简介(Mark Directory as)

通过File  -> Settings-project Structure-Modules 或者右键Mark Directory as可以找到这五种类型. Sources 一般用于标注类似 src 这种可编译目录.有时候我们不单单项目的 src 目录要可编译,还有其他一些特别的目录也许我们也要作为可编译的目录,就需要对该目录进行此标注.只有 Sources 这种可编译目录才可以新建 Java 类和包.在规范的 maven 项目结构中,顶级目录是 src,但maven 的 src 我们是不会设置为

redis的五种数据结构

五种数据结构 1.string 2.hash(类似map) 3.list 4.set 5.有序set jedisClient.set("redis_test", "value"); String redisStr = jedisClient.get("redis_test"); jedisClient.hset("rule","name","chi.zhang04"); jedisCli

[Redis]Redis的五种数据类型与键值/服务器相关命令

-------------------------------------------------------------------------------------- String(字符串):最简单的数据类型. set age 18 ( set age 18 ex 5 ) # 设置过期时间5秒 setex age 5 18   # 效果同上, 使用 ttl age 可以查看剩余有效时间 psetex age 5000 18  # 同上,只是以毫秒为单位设置key的过期时间 ( set ag