redis 底层数据结构 压缩列表 ziplist

当一个哈希键只包含少量键值对,并且每个键值对的键和值要么就是小整数值,要么就是长度比较短的字符串,那么Redis就会使用压缩列表来做哈希键的底层实现。

压缩列表是Redis为了节约内存而开发的是由一系列特殊编码的连续内存块组成的顺序型数据结构,一个压缩列表可以包含任意多个节点,每个节点可以保存一个字节数组或者一个整数值

ziplist 数据结构

压缩列表节点的构成

每个压缩列表节点可以保存一个字节数组或者一个整数值,其中字节数组可以是以下三种长度的其中一种

长度小于等于63字节的字节数组

长度小于等于16383字节的字节数组

长度小于等于4294967295字节的字节数组

数值则可以是以下六种长度的其中一种

1:  4位长介于0至12之间的无符号整数

2:1字节长的有符号整数

3: 3字节长的有符号整数

4:int16类型整数

5:int32类型整数

6 : int64类型整数

压缩列表的数据结构

previous_entry_length 属性以字节为单位,记录了压缩列表中前一个节点的长度,previous_entry_length属性的长度可以是1字节或者5字节

如果前一节点的长度小于254字节那么previous_entry_length属性的长度为1字节 如果前一节点的长度大于等于254字节previous_entry_length属性的长度为5字节

根据当前节点的地址和previous_entry_length的值来计算出前一个节点的地址

压缩列表的从表尾向表头遍历操作就是使用这一原理实现的,只要我们拥有了一个指向某个节点起始地址的指针,那么通过这个指针以及这个节点的previous_entry_length属性

程序就可以一直向前一个节点回溯,最终到达压缩列表的表头节点。

节点encoding属性记录了节点的content属性所保存数据的类型以及长度

一字节、两字节或者五字节长,值的最高位为00 、01、或者10的是字节数组编码这种编码表示节点的content属性保存着字节数组,数组的长度有编码除去最高两位之后的其他位记录

一字节长 值的最高位以11开头的是整数编码,这种编码表示节点的content属性保存着整数值,整数值的类型和长度有编码除去最高两位之后的其他位记录

节点的content属性负责保存节点的值,节点值可以是一个字节数组或者整数值的类型和长度由encoding决定

连锁更新

连锁更新在最坏情况下需要对压缩列表执行N次空间重分配操作,而每次空间重分配的最坏复杂度为O(n) 连锁更新最坏的时间复杂度O(n*n)

lian

原文地址:https://www.cnblogs.com/williamjie/p/9502636.html

时间: 2024-10-21 14:41:50

redis 底层数据结构 压缩列表 ziplist的相关文章

Redis数据结构之压缩列表-ziplist

为了节约内存,在zset和hash容器对象元素个数较少时,Redis会采用压缩列表(ziplist)进行存储. 压缩列表是一块连续的内存空间,元素之间紧挨着存储,不存在冗余 一个压缩列表可以包含任意多个节点(entry),每个节点可以保存一个字节数组或者一个整数值 结构 // 压缩列表 struct ziplist<T> { int32 zlbytes; // 压缩列表占用的内存字节数 int32 zltail_offset; // 记录表尾节点距离起始地址有多少个字节,用于快速定位最后一个元

Redis实现之压缩列表

压缩列表 压缩列表(ziplist)是列表键和哈希键的底层实现之一,当一个列表键只包含少量列表项,并且每个列表项要嘛是整数值,要嘛是比较短的字符串,那么Redis就会使用压缩列表来做列表键的底层实现.例如,执行以下命令将创建一个压缩列表键的底层实现 127.0.0.1:6379> RPUSH lst 1 3 5 10086 "hello" "world" (integer) 6 127.0.0.1:6379> OBJECT ENCODING lst &q

【转】Redis内部数据结构详解——ziplist

本文是<Redis内部数据结构详解>系列的第四篇.在本文中,我们首先介绍一个新的Redis内部数据结构--ziplist,然后在文章后半部分我们会讨论一下在robj, dict和ziplist的基础上,Redis对外暴露的hash结构是怎样构建起来的. 我们在讨论中还会涉及到两个Redis配置(在redis.conf中的ADVANCED CONFIG部分): hash-max-ziplist-entries 512 hash-max-ziplist-value 64 本文的后半部分会对这两个配

redis底层数据结构之adlist

最近,我想通过redis的源码来学习redis.虽然平时工作中用得不多,不过对redis还是比较感兴趣的,毕竟它的性能是不错的.redis是一个开源的项目,我们可以通过源代码去了解redis.我后面会通过自己的学习,写一些关于redis源码的帖子.帖子的主要内容是分析代码设计,而并不会对源码进行详细解说.如果有不对的地方,请指正.源码是reids 3.0.3版本. adlist 一.adlist,双链列表 数据结构定义如下: //节点 typedef struct listNode {     

redis底层数据结构之dict 字典1

最近,我想通过redis的源码来学习redis.虽然平时工作中用得不多,不过对redis还是比较感兴趣的,毕竟它的性能是不错的.redis是一个 开源的项目,我们可以通过源代码去了解redis.我后面会通过自己的学习,写一些关于redis源码的帖子.帖子的主要内容是分析代码设计,而并不会对 源码进行详细解说.如果有不对的地方,请指正.源码是reids 3.0.3版本. dict 字典 一.数据结构 //字典条目 typedef struct dictEntry {     void *key;

redis底层数据结构之sds

最近,我想通过redis的源码来学习redis.虽然平时工作中用得不多,不过对redis还是比较感兴趣的,毕竟它的性能是不错的.redis是一个开源的项目,我们可以通过源代码去了解redis.我后面会通过自己的学习,写一些关于redis源码的帖子.帖子的主要内容是分析代码设计,而并不会对源码进行详细解说.如果有不对的地方,请指正.源码是reids 3.0.3版本. sds 一.redis的字符串 sds: c语言的字符串是 char *,redis则自己定义了内部的字符串sds,同时也提供了一组

redis底层数据结构之intset

最近,我想通过redis的源码来学习redis.虽然平时工作中用得不多,不过对redis还是比较感兴趣的,毕竟它的性能是不错的.redis是一个开源的项目,我们可以通过源代码去了解redis.我后面会通过自己的学习,写一些关于redis源码的帖子.帖子的主要内容是分析代码设计,而并不会对源码进行详细解说.如果有不对的地方,请指正.源码是reids 3.0.3版本. intset 一.intset数据结构 intset,是用于存储整数集合的数据结构.set的特点是无重复元素,元素可以无序.不过re

Redis底层数据结构----1 结构与命令

字符串的编码对象可以为 int raw embstr 如果字符串的长度大于32字节 那么字符串江永一个raw编码来实现sds  会调用两次分配内存函数来分别创建 redisobject和 sdshdr 小于32直接将用 embstr来编码 调用一次分配内存函数一起创建 redisobject和 sdshdr 列表的编码对象可以为ziplist 和 linkedlist hash对象的编码可以是 ziplist 和 hashtable 集合的编码实现是 intset  和 hashtable 有序

redis底层数据结构之dict 字典2

针对 上一文中提出的问题,这一次就进行解答: 由rehash过程可以看出,在rehash过程中,ht[0]和ht[1]同时具有条目,即字典中的所有条目分布在ht[0]和ht[1]中, 这时麻烦也就出来了.主要有以下问题:(现在暂不解答是如何解决的) 1.如何查找key. 2.如何插入新的key. 3.如何删除一个key. 4.如何确保rehash过程不断插入.删除条目,而rehash没有出错. 5.如何遍历dict所有条目,如何确保遍历顺序. 6.如何确保迭代器有效,且正确. 1. 如何查找ke