redisbook笔记——redis内部数据结构

在Redis的内部,数据结构类型值由高效的数据结构和算法进行支持,并且在Redis自身的构建当中,也大量用到了这些数据结构。

这一部分将对Redis内存所使用的数据结构和算法进行介绍。

动态字符串

Sds(Simple Dynamic String,简单动态字符串)

Sds在Redis中的主要作用有以下两个:

1. 实现字符串对象(StringObject);

2. 在Redis程序内部用作char* 类型的替代品;

对比C 字符串,sds有以下特性:

可以高效地执行长度计算(strlen);

可以高效地执行追加操作(append);

二进制安全;

•sds会为追加操作进行优化:加快追加操作的速度,并降低内存分配的次数,代价是多占用了一些内存,而且这些内存不会被主动释放。

typedefchar *sds;

structsdshdr {

// buf已占用长度

intlen;

// buf剩余可用长度

intfree;

// 实际保存字符串数据的地方

charbuf[];

};

# 如果新字符串的总长度小于SDS_MAX_PREALLOC

# 那么为字符串分配2 倍于所需长度的空间

# 否则就分配所需长度加上SDS_MAX_PREALLOC 数量的空间

双端链表

大部分C 程序都会自己实现一种链表类型,Redis也不例外。双端链表还是Redis列表类型的底层实现之一

Note: Redis列表使用两种数据结构作为底层实现:

1. 双端链表

2. 压缩列表

因为双端链表占用的内存比压缩列表要多,所以当创建新的列表键时,列表会优先考虑

使用压缩列表作为底层实现,并且在有需要的时候,才从压缩列表实现转换到双端链表实现。

除了实现列表类型以外,双端链表还被很多Redis内部模块所应用:

•事务模块使用双端链表来按顺序保存输入的命令;

•服务器模块使用双端链表来保存多个客户端;

•订阅/发送模块使用双端链表来保存订阅模式的多个客户端;

•事件模块使用双端链表来保存时间事件(time event);

typedefstructlist {

// 表头指针

listNode*head;

// 表尾指针

listNode*tail;

// 节点数量

unsigned long len;

// 复制函数

void*(*dup)(void *ptr);

// 释放函数

void(*free)(void *ptr);

// 比对函数

int(*match)(void *ptr, void *key);

} list;

Redis为双端链表实现了一个迭代器,这个迭代器可以从两个方向对双端链表进行迭代:

双端链表及其节点的性能特性如下:

节点带有前驱和后继指针,访问前驱节点和后继节点的复杂度为O(1) ,并且对链表

的迭代可以在从表头到表尾和从表尾到表头两个方向进行;

链表带有指向表头和表尾的指针,因此对表头和表尾进行处理的复杂度为O(1) ;

链表带有记录节点数量的属性,所以可以在O(1) 复杂度内返回链表的节点数量(长

度);

字典

字典(dictionary),又名映射(map)或关联数组(associative array),在Redis中的应用广泛,使用频率可以说和SDS 以及双端链表不相上下,基本上各个功能模块都有用到字典的地方。

其中,字典的主要用途有以下两个:

1. 实现数据库键空间(key space);

2. 用作Hash 类型键的其中一种底层实现;

以下两个小节分别介绍这两种用途。

Redis的Hash 类型键使用以下两种数据结构作为底层实现:

1. 字典;

2. 压缩列表;

因为压缩列表比字典更节省内存,所以程序在创建新Hash 键时,默认使用压缩列表作为底层实现,当有需要时,程序才会将底层实现从压缩列表转换到字典。

Redis选择了高效且实现简单的哈希表作为字典的底层实现。

/*

* 字典

**每个字典使用两个哈希表,用于实现渐进式rehash

*/

typedefstructdict {

// 特定于类型的处理函数

dictType*type;

// 类型处理函数的私有数据

void*privdata;

// 哈希表(2 个)

dicththt[2];

// 记录rehash 进度的标志,值为-1 表示rehash 未进行

intrehashidx;

// 当前正在运作的安全迭代器数量

intiterators;

} dict;

哈希表实现

字典所使用的哈希表实现由dict.h/dictht类型定义:

/*

* 哈希表

*/

typedefstructdictht {

// 哈希表节点指针数组(俗称桶,bucket

dictEntry**table;

// 指针数组的大小

unsigned long size;

// 指针数组的长度掩码,用于计算索引值

unsigned long sizemask;

// 哈希表现有的节点数量

unsigned long used;

} dictht;

每个dictEntry都保存着一个键值对,以及一个指向另一个dictEntry结构的指针:

/*

* 哈希表节点

*/

typedefstructdictEntry {

//

void*key;

//

union{

void*val;

uint64_t u64;

int64_t s64;

} v;

// 链往后继节点

structdictEntry*next;

} dictEntry;

Redis目前使用两种不同的哈希算法:

1. MurmurHash2 32 bit 算法:这种算法的分布率和速度都非常好,具体信息请参考MurmurHash的主页:http://code.google.com/p/smhasher/ 。

2. 基于djb算法实现的一个大小写无关散列算法:具体信息请参考

http://www.cse.yorku.ca/~oz/hash.html 。

字典哈希表所使用的碰撞解决方法被称之为链地址法:

字典收缩和字典扩展的一个区别是:

•字典的扩展操作是自动触发的(不管是自动扩展还是强制扩展);

•而字典的收缩操作则是由程序手动执行。

字典由键值对构成的抽象数据结构。

•Redis中的数据库和哈希键都基于字典来实现。

•Redis字典的底层实现为哈希表,每个字典使用两个哈希表,一般情况下只使用0 号哈希表,只有在rehash 进行时,才会同时使用0 号和1 号哈希表。

•哈希表使用链地址法来解决键冲突的问题。

• Rehash 可以用于扩展或收缩哈希表。

•对哈希表的rehash 是分多次、渐进式地进行的。

跳跃表

它的效率可以和平衡树媲美——查找、删除、添加等操作都可以在对数期望时间下完成,

并且比起平衡树来说,跳跃表的实现要简单直观得多。

•表头(head):负责维护跳跃表的节点指针。

•跳跃表节点:保存着元素值,以及多个层。

•层:保存着指向其他元素的指针。高层的指针越过的元素数量大于等于低层的指针,为了提高查找的效率,程序总是从高层先开始访问,然后随着元素值范围的缩小,慢慢降低层次。

•表尾:全部由NULL 组成,表示跳跃表的末尾。

看图想象:

1) 查找简单:比如要查找5,第一层没找到,第二层定位4—6之间,再降一层则找到5。

2) 插入算法呢?还是不太确定怎么实现

跳跃表在Redis的唯一作用,就是实现有序集数据类型。

跳跃表将指向有序集的score 值和member 域的指针作为元素,并以score 值为索引,对有序集元素进行排序。

为了适应自身的需求,Redis基于William Pugh 论文中描述的跳跃表进行了修改,包括:1. score 值可重复。

2. 对比一个元素需要同时检查它的score 和memeber。

3. 每个节点带有高度为1 层的后退指针,用于从表尾方向向表头方向迭代。

时间: 2024-10-27 06:43:44

redisbook笔记——redis内部数据结构的相关文章

[转]Redis内部数据结构详解-sds

本文是<Redis内部数据结构详解>系列的第二篇,讲述Redis中使用最多的一个基础数据结构:sds. 不管在哪门编程语言当中,字符串都几乎是使用最多的数据结构.sds正是在Redis中被广泛使用的字符串结构,它的全称是Simple Dynamic String.与其它语言环境中出现的字符串相比,它具有如下显著的特点: 可动态扩展内存.sds表示的字符串其内容可以修改,也可以追加.在很多语言中字符串会分为mutable和immutable两种,显然sds属于mutable类型的. 二进制安全(

【转】Redis内部数据结构详解——ziplist

本文是<Redis内部数据结构详解>系列的第四篇.在本文中,我们首先介绍一个新的Redis内部数据结构--ziplist,然后在文章后半部分我们会讨论一下在robj, dict和ziplist的基础上,Redis对外暴露的hash结构是怎样构建起来的. 我们在讨论中还会涉及到两个Redis配置(在redis.conf中的ADVANCED CONFIG部分): hash-max-ziplist-entries 512 hash-max-ziplist-value 64 本文的后半部分会对这两个配

【转】Redis内部数据结构详解 -- skiplist

本文是<Redis内部数据结构详解>系列的第六篇.在本文中,我们围绕一个Redis的内部数据结构--skiplist展开讨论. Redis里面使用skiplist是为了实现sorted set这种对外的数据结构.sorted set提供的操作非常丰富,可以满足非常多的应用场景.这也意味着,sorted set相对来说实现比较复杂.同时,skiplist这种数据结构对于很多人来说都比较陌生,因为大部分学校里的算法课都没有对这种数据结构进行过详细的介绍.因此,为了介绍得足够清楚,本文会比这个系列的

redisbook笔记——redis内存映射数据结构

虽然内部数据结构非常强大,但是创建一系列完整的数据结构本身也是一件相当耗费内存的工作,当一个对象包含的元素数量并不多,或者元素本身的体积并不大时,使用代价高昂的内部数据结构并不是最好的办法. 为了解决这一问题,Redis在条件允许的情况下,会使用内存映射数据结构来代替内部数据结构. 内存映射数据结构可以为用户节省大量的内存.不过,因为内存映射数据结构的编码和操作方式要比内部数据结构要复杂得多,所以内存映射数据结构所占用的CPU 时间会比作用类似的内部数据结构要多. 这一部分将对Redis目前正在

redis内部数据结构深入浅出

最大感受,无论从设计还是源码,Redis都尽量做到简单,其中运用到的原理也通俗易懂.特别是源码,简洁易读,真正做到clean and clear, 这篇文章以unstable分支的源码为基准,先从大体上整理Redis的对象类型以及底层编码. 当我们在本文中提到Redis的“数据结构”,可能是在两个不同的层面来讨论它. 第一个层面,是从使用者的角度,string,list,hash,set,sorted set 第二个层面,是从内部实现的角度,属于更底层的实现,   ht(dict),raw,em

Redis内部数据结构的实现

还有两个多月就找工作了,决定把之前看的一些东西整理一下,做个记录,也整理一下最近的思路. Redis 作为一个基于key=>value的内存数据库,使用ANSI C语言实现,以其高性能和支持丰富的数据结构闻名于世,而其数据结构也是其高性能的基础,今天分享一下我对此的理解,并以redis3.2的正式版源码分析. 在Redis内部,有非常多的数据结构:sds(简单动态字符串),list,intset(整数集合),hash(字典),zskiplist(跳跃表),ziplist(压缩表)等. 1. sd

你真的懂了redis的数据结构吗?redis内部数据结构和外部数据结构揭秘

Redis有哪些数据结构? 字符串String.字典Hash.列表List.集合Set.有序集合SortedSet. 很多人面试时都遇到过这种场景吧? 其实除了上面的几种常见数据结构,还需要加上数据结构HyperLogLog.Geo. 可是很多人不知道redis 不仅有上面的几种数据结构,还内藏了内部的数据结构.即redis可以分为外部数据结构和内部数据结构. 1. 如何查看redis的数据结构? ####1.1 如何查看redis的外部数据结构?可以使用type命令,返回key的类型,如str

redis 内部数据结构 intset

这是<redis 七种内部数据结构>:https://www.cnblogs.com/christmad/p/11364372.html 的第七篇 原文地址:https://www.cnblogs.com/christmad/p/11365853.html

redis 内部数据结构 skiplist

这是<redis 七种内部数据结构>:https://www.cnblogs.com/christmad/p/11364372.html 的第六篇 原文地址:https://www.cnblogs.com/christmad/p/11365774.html