MQTT---HiveMQ源码详解(十四)Persistence-LocalPersistence

简介

HiveMQ的Persistence提供配置包括File和Memory,以解决不同场景的不同需求,使用者可以自行配置六种信息的PersistenceMode

就代码来讲,又分为LocalPersistence和Cluster/SinglePersistence。LocalPersistence主要是作本地的Persistence;Cluster/SinglePersistence主要是根据用户是否Cluster来决定不同的Persistence业务处理。

本节我们先讲LocalPersistence


类图

  • 每个LocalPersistence都是由对应的Provider根据用户的配置来提供对应的LocalPersistence。
  • LocalPersistence主要分为这几这么几类QueuedMessage、ClientSessionSubscriptions、IncomingMessageFlow、OutgoingMessageFlow、ClientSession、RetainedMessage、LWT(这个是local的,不需要Cluster),主要持久队列消息、客户订阅、Incoming消息流水、Outgoing消息流水、client session、保留消息。
  • -

bucket应用

由于这些Persistence的信息,都是跟client强相关的,那么通过bucket,通过clientid与bucket count计算出对应存储的bucket,这样可以数量级减少查找速度。每个Persistence信息的bucket数量都是可以通过配置文件进行自由定义配置

bucket计算

public static int bucket(@NotNull String clientId, int bucketCount) {
        return Math.abs(clientId.hashCode() % bucketCount);
    }

PersistenceExecutor

由于持久化的处理也都是通过全部异步处理,类似于CallbackExecutor,Persistence的任务也都是通过统一的Executor进行调度,以达到提高效率,减少没必要的cpu竞争以及线程泛滥的问题。


MQTT交流群:221405150


时间: 2024-10-20 00:15:42

MQTT---HiveMQ源码详解(十四)Persistence-LocalPersistence的相关文章

node源码详解(四) —— js代码如何调用C++的函数

声明:转载请保留声明头部并标明转载.并私信告知作者.原文:http://www.cnblogs.com/papertree/p/5285705.html 上面讲到node调用Script::Compile()和Script::Run()解析执行app.js,并把io操作和callback保存到default_loop_struct,那么app.js里面js代码如何调用C++的函数呢? 在4.2节进行解释,先在4.1节来点知识预热. 4.1 V8运行js代码的基础知识 —— V8的上下文 来看看g

MQTT---HiveMQ源码详解(十)Netty-Statistics

HiveMQ中的内置的统计非常之多,多到可怕,几乎你能想到的统计hivemq都已经帮你想全了:同时第三方plugin还可以定义属于自己的统计. 它的实现采用了Metric框架实现统计.度量.收集的数据可以通过多种数据报告接口,这样可以监控broker运行中的各种数据来监控broker. 所谓统计无外乎就是采集埋点.输出报告 采集埋点 类图 通过StatisticsInitializer实现handlerAdded方法,为pipeline中添加GlobalTrafficCounter(流量计数器)

MQTT---HiveMQ源码详解(十二)Netty-MQTT消息、事件处理(流程)

简介 前面这些章节,讲的基本上都是属于netty对MQTT周边的一些处理,由于MQTT协议总共目前可用的消息类型有14个,如果再加上对应的事件处理加载一起那就估计大概有14*3个handler,如果每个来讲一遍,难免有些枯燥,而且知识点会很分散,思考再三,想把整体的MQTT消息以及对应的事件处理作为一节来介绍,我们只讲它整体的实现思路.处理流程即可,这样对需要自己写broker的朋友的帮助应该是非常大的,这也符合最初写此系列博客的初衷. 热身 一.Callback 1.分类 HiveMQ的Cal

MQTT---HiveMQ源码详解(十九)Cluster-Request/Response

源博客地址:http://blog.csdn.net/pipinet123 MQTT交流群:221405150 既然是通讯,底层的通讯协议由JGroup负责,那么上层类似于web项目,需要定义Request/Response. Request Request非常多,基本上数量与Serializer差不多,但特征非常明显. Query Request,向其他持有数据的node请求自己需要的数据 Replicate Request, 向其他node分发.备份数据. Node Information

MQTT---HiveMQ源码详解(十六)TopicTree

源博客地址:http://blog.csdn.net/pipinet123 MQTT交流群:221405150 功能 启动时,读取持久化的信息,构建出订阅树 根据可订阅/取消订阅/读取订阅(包括计算出QoS) 类图 既然是一棵树,那么肯定是由一堆Node组成的,TopicTreeNode持有当前的topic的segment,通配符订阅者信息(包含订阅者.订阅的QoS.是否共享订阅.以及共享订阅组信息). 每个节点都可以提供订阅.取消订阅.获得订阅者信息.以及一些订阅树节点的数据的增删改查操作.

深入Java基础(四)--哈希表(1)HashMap应用及源码详解

继续深入Java基础系列.今天是研究下哈希表,毕竟我们很多应用层的查找存储框架都是哈希作为它的根数据结构进行封装的嘛. 本系列: (1)深入Java基础(一)--基本数据类型及其包装类 (2)深入Java基础(二)--字符串家族 (3)深入Java基础(三)–集合(1)集合父类以及父接口源码及理解 (4)深入Java基础(三)–集合(2)ArrayList和其继承树源码解析以及其注意事项 文章结构:(1)哈希概述及HashMap应用:(2)HashMap源码分析:(3)再次总结关键点 一.哈希概

Java concurrent AQS 源码详解

一.引言 AQS(同步阻塞队列)是concurrent包下锁机制实现的基础,相信大家在读完本篇博客后会对AQS框架有一个较为清晰的认识 这篇博客主要针对AbstractQueuedSynchronizer的源码进行分析,大致分为三个部分: 静态内部类Node的解析 重要常量以及字段的解析 重要方法的源码详解. 所有的分析仅基于个人的理解,若有不正之处,请谅解和批评指正,不胜感激!!! 二.Node解析 AQS在内部维护了一个同步阻塞队列,下面简称sync queue,该队列的元素即静态内部类No

Spring IOC源码详解之容器初始化

Spring IOC源码详解之容器初始化 上篇介绍了Spring IOC的大致体系类图,先来看一段简短的代码,使用IOC比较典型的代码 ClassPathResource res = new ClassPathResource("beans.xml"); DefaultListableBeanFactory factory = new DefaultListableBeanFactory(); XmlBeanDefinitionReader reader = new XmlBeanDe

Shiro 登录认证源码详解

Shiro 登录认证源码详解 Apache Shiro 是一个强大且灵活的 Java 开源安全框架,拥有登录认证.授权管理.企业级会话管理和加密等功能,相比 Spring Security 来说要更加的简单. 本文主要介绍 Shiro 的登录认证(Authentication)功能,主要从 Shiro 设计的角度去看这个登录认证的过程. 一.Shiro 总览 首先,我们思考整个认证过程的业务逻辑: 获取用户输入的用户名,密码: 从服务器数据源中获取相应的用户名和密码: 判断密码是否匹配,决定是否