redis系列之------对象

前言

Redis 并没有直接使用数据结构来实现键值对
数据库, 而是基于这些数据结构创建了一个对象系统, 这个系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象, 每种对象都用到了至少一种我们前面所介绍的数据结构。 通过这五种不同类型的对象,
Redis 可以在执行命令之前, 根据对象的类型来判断一个对象是否可以执行给定的命令。 使用对象的另一个好处是, 我们可以针对不同的使用场景, 为对象设置多种不同的数据结构实现, 从而优化对象在不同场景下的使用效率。

除此之外, Redis 的对象系统还实现了基于引用计数技术的内存回收机制: 当程序不再使用某个对象的时候, 这个对象所占用的内存就会被自动释放; 另外, Redis 还通过引用计数技术实现了对象共享机制, 这一机制可以在适当的条件下, 通过让多个数据库键共享同一个对象来节约内存。

对象的类型与编码

Redis 使用对象来表示数据库中的键和值, 每次当我们在 Redis 的数据库中新创建一个键值对时, 我们至少会创建两个对象, 一个对象用作键值对的键(键对象), 另一个对象用作键值对的值(值对象)。

Redis 中的每个对象都由一个
redisObject 结构表示, 该结构中和保存数据有关的三个属性分别是 type 属性、 encoding 属性和 ptr 属性:

 1 typedef struct redisObject {
 2
 3     // 类型
 4     unsigned type:4;
 5
 6     // 编码
 7     unsigned encoding:4;
 8
 9     // 指向底层实现数据结构的指针
10     void *ptr;
11
12     // ...
13
14 } robj;

我们可以看到一个对象中主要包含了三种字段。

type: 表示对象的类型。比如String,List,Hash等等

encoding:表示对象底层用的是什么数据结构。如INT(整数),EMBSTR(简洁版sds),RAW(sds),HT(map)等等

ptr:ptr是一个指针,指向对象所用的数据结构。

如下图所示:

set  k v

k是String类型,embstr数据结构,也就是简洁版的sds,后续讲。

embstr与sds区别

之前我们讲数据结构,都没有见到过embStr,是的,我也是看到这一节才知道有这个东西的。

Redis为了优化,搞了一个embStr,他是为了专门存短字符串的一种编码优化方式。

  • embstr 编码将创建字符串对象所需的内存分配次数从 raw 编码的两次降低为一次。raw 编码会调用两次内存分配函数来分别创建 redisObject 结构和 sdshdr 结构, 而 embstr 编码则通过调用一次内存分配函数来分配一块连续的空间, 空间中依次包含 redisObject 和 sdshdr 两个结构。因为一个连续,一个不连续。
  • 释放 embstr 编码的字符串对象只需要调用一次内存释放函数, 而释放 raw 编码的字符串对象需要调用两次内存释放函数。理由同上
  • 因为 embstr 编码的字符串对象的所有数据都保存在一块连续的内存里面, 所以这种编码的字符串对象比起 raw 编码的字符串对象能够更好地利用缓存带来的优势。

总的来说,因为embstr分配的是一段连续的内存,使得它分配释放内存都是一次,所以效率会有所提高。同时embste   <==>  sds  为44个字节。

从下图中,我们可以明确看到。 len <= 44 都是embster的数据结构,如果len > 44 则转变为raw。至于为啥44。

大家可以去算一下。参考文章:

https://zhuanlan.zhihu.com/p/67876900

https://xiaoyue26.github.io/2019/01/19/2019-01/redis%E7%9A%84embstr%E4%B8%BA%E4%BB%80%E4%B9%88%E6%98%AF39B/

内存

Redis为了节省内存,真的是操碎了心。

c语言不像Java,Go等语言,本身不具备自动回收内存机制。Java的内存回收导致STW一直被人诟病,最近看了ZGC的数据,Java真的是崛起了。

因此Redis 在自己的对象系统中构建了一个引用计数(reference counting)技术实现的内存回收机制, 通过这一机制, 程序可以通过跟踪对象的引用计数信息, 在适当的时候自动释放对象并进行内存回收。

但熟悉JVM的都知道,引用计数他有一种缺陷就是,解决不了循环引用的问题。

如  A   <==>  B  但已经没有其他任何节点引用AB了,但AB由于相互引用,计数为1,永远不会被回收。所以Java用了GC ROOT。

但Redis不知道为啥不存在这个问题,找了资料,也没找出什么原因。大多都说Redis没有复杂的结构,所以?有大佬能解答下不?

引用计数我们可以通过  OBJECT refcount token 命令,查询到token被引用了几次,如果为0,那么则可以回收了。

还有最重要的一点是,Redis对整数 0-9999(共1W个整数)做了缓存。类似于Java对-128-127做缓存一样。

但是没有对值的字符串,如aaaaa的这种缓存,毕竟判断一个字符串是否在库里面,需要扫整个库,非常耗时,并且cpu压力非常的大。

处于优化,折中的考虑,也就缓存了0-9999吧。其实看看淘宝商品的价格,缓存0-100足矣,毕竟0-100占据了99%的商品。

具体可看:http://redisbook.com/preview/object/share_object.html

后言

  • Redis 数据库中的每个键值对的键和值都是一个对象。
  • Redis 共有字符串、列表、哈希、集合、有序集合五种类型的对象, 每种类型的对象至少都有两种或以上的编码方式, 不同的编码可以在不同的使用场景上优化对象的使用效率。
  • 服务器在执行某些命令之前, 会先检查给定键的类型能否执行指定的命令, 而检查一个键的类型就是检查键的值对象的类型。
  • Redis 的对象系统带有引用计数实现的内存回收机制, 当一个对象不再被使用时, 该对象所占用的内存就会被自动释放。
  • Redis 会共享值为 0 到 9999 的整数对象。
  • 对象会记录自己的最后一次被访问的时间, 这个时间可以用于计算对象的空转时间。

参考:

原文地址:https://www.cnblogs.com/wuliaojava/p/11783005.html

时间: 2024-10-15 11:28:55

redis系列之------对象的相关文章

redis 系列15 数据对象的(类型检查,内存回收,对象共享)和数据库切换

原文:redis 系列15 数据对象的(类型检查,内存回收,对象共享)和数据库切换 一.  概述 对于前面的五章中,已清楚了数据对象的类型以及命令实现,其实还有一种数据对象为HyperLogLog,以后需要用到再了解.下面再了解类型检查,内存回收,对象共享,对象的空转时长. 1.1   类型检查与命令多态 redis中用于操作键的命令基本上可以分为两种类型,一种是可以对任何的键执行,如:del, expire,rename,type,object 这些命令等,对于这些命令属于多态命令.另一种命令

Redis系列(三)--过期策略

制定Redis过期策略,是整个Redis缓存策略的关键之一,因为内存来说,公司不可能无限大,所以就要对key进行一系列的管控. 文章结构:(1)理解Redis过期设置API(命令与Java描述版本):(2)理解Redis内部的过期策略:(3)对开发需求而言,Redis过期策略的设计实现经验. 本系列文章: (1)Redis系列(一)–安装.helloworld以及读懂配置文件 (2)Redis系列(二)–缓存设计(整表缓存以及排行榜缓存方案实现) 一.理解Redis过期设置API(命令与Java

Redis系列-配置文件小结

如果不指定配置文件,Redis也可以启动,此时,redis使用默认的内置配置.不过在正式环境,常常通过配置文件[通常叫redis.conf]来配置redis. redis.conf配置格式如下: [plain] view plain copy keyword argument1 argument2 ... argumentN redis.conf配置参数: 1)daemonize on|yes redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes时,启用守护进程 2)pidf

Redis系列--内存淘汰机制(含单机版内存优化建议)

https://blog.csdn.net/Jack__Frost/article/details/72478400?locationNum=13&fps=1 每台redis的服务器的内存都是有限的,而且也不是所有的内存都用来存储信息.而且redis的实现并没有在内存这块做太多的优化,所以实现者为了防止内存过于饱和,采取了一些措施来管控内存. 文章结构:(1)内存策略:(2)内存释放机制原理:(3)项目中如何合理应用淘汰策略:(4)单机版Redis内存优化注意点. 一.内存策略:先来吃份官方文档

redis 系列20 服务器下

原文:redis 系列20 服务器下 二. serverCron函数 2.3 更新服务器每秒执行命令次数 serverCron函数中的trackOperationsPerSecond函数会以每100毫秒一次的频率执行,这个函数以抽样计算的方式,估算并记录服务器在最近一秒钟处理的命令请求数量,这个值可以通过info status命令的instantaneous_ops_sec域查看: 127.0.0.1:6379> info stats # Stats total_connections_rece

Redis 系列(04-2)Redis原理 - 内存回收

目录 Redis 系列(04-2)Redis原理 - 内存回收 Redis 系列目录 1. 过期策略 1.1 定时过期(主动淘汰) 1.2 惰性过期(被动淘汰) 1.3 定期过期 2. 淘汰策略 2.1 最大内存设置 2.2 淘汰策略 2.4 LFU Redis 系列(04-2)Redis原理 - 内存回收 Redis 系列目录 相关文档推荐: Redis - LRU Reids 所有的数据都是存储在内存中的,在某些情况下需要对占用的内存空间进行回收.内存回收主要分为两类,一类是 key 过期,

redis系列-14点的灵异事件

概述 项目组每天14点都会遭遇惊魂时刻.一条条告警短信把工程师从午后小憩中拉回现实.之后问题又神秘消失.是PM喊你上工了?还是服务器给你开玩笑?下面请看工程师如何一步一步揪出真凶,解决问题. 如果不想看故事,可以直接跳到最后事后烟章节下看和Redis相关部分. 起因 某天下午,后端组的监控系统发出告警,服务器响应时间变长,超过了阈值.过一会儿系统自动恢复了,告警解除. 第二天差不多的时间点,监控系统又发出了同样的告警,过几分钟后又恢复了. 我们决定排查这个问题. 背景 首先要介绍一下应用的架构,

12.【Redis系列】集群方案1- Sentinel

原文:12.[Redis系列]集群方案1- Sentinel 目前我们讲的 Redis 还只是主从方案,最终一致性.读者们可思考过,如果主节点凌晨 3 点突发宕机怎么办?就坐等运维从床上爬起来,然后手工进行从主切换,再通知所有的程序把地址统统改一遍重新上线么?毫无疑问,这样的人工运维效率太低,事故发生时估计得至少 1 个小时才能缓过来.如果是一个大型公司,这样的事故足以上新闻了. 所以我们必须有一个高可用方案来抵抗节点故障,当故障发生时可以自动进行从主切换,程序可以不用重启,运维可以继续睡大觉,

7.【Redis系列】Redis的高级应用-布隆过滤器

原文:7.[Redis系列]Redis的高级应用-布隆过滤器 拿今日头条来说,它会不停的给我们推荐新的新闻,每次推荐都要去重,过滤掉我们之前看过的内容,今日头条如何做到去重呢,我们上面的HyperLogLog虽然能去重,但是没有办法确认这个新闻有没有被浏览 过,没有pfcontains的方法.有没有更好的解决方案呢? Redis为我们准备了布隆过滤器,是专门用来解决这种去重问题的,它在起去重功能的同时,空间上还可以节约90%,只是稍微有一定的误判率. 什么是布隆过滤器 布隆过滤器可以理解为稍微不