MQTT---HiveMQ源码详解(十二)Netty-MQTT消息、事件处理(流程)

简介

前面这些章节,讲的基本上都是属于netty对MQTT周边的一些处理,由于MQTT协议总共目前可用的消息类型有14个,如果再加上对应的事件处理加载一起那就估计大概有14*3个handler,如果每个来讲一遍,难免有些枯燥,而且知识点会很分散,思考再三,想把整体的MQTT消息以及对应的事件处理作为一节来介绍,我们只讲它整体的实现思路、处理流程即可,这样对需要自己写broker的朋友的帮助应该是非常大的,这也符合最初写此系列博客的初衷。

热身

一、Callback

1、分类

HiveMQ的Callback总体分为同步、异步两种callback,其中部分异步callback被标记为lowlevel。

2、同步

可以看出同步的callback主要分为broker的callback、安全相关的callback、OnConnectCallback、OnPublishReceivedCallback、OnSubscribeCallback,这些回调都是使用异步线程调用。

  1. broker在启动和关闭时,会触发OnBrokerStart和OnBrokerStop,用户可在broker启动的时候做一些自己的处理,例如数据库连接池的创建,spring context的创建等等;在broker关闭时,可以关闭数据库连接池等操作。
  2. 安全相关的主要包括Authentication、Authorization,主要是做连接认证和授权;可以写第三方plugin去做Authentication和Authorization。
  3. OnConnectCallback、OnPublishReceivedCallback、OnSubscribeCallback,用户可以在client连接、client publish、client subscribe的时候做一些处理。

3、异步

  1. 异步callback主要包括一些mqtt消息回调、认证完成回调等等,用户可以根据自己的需求开发一些个性化插件定制属于自己的broker业务。

4、lowlevel

  1. lowlevel属于异步callback的一部分,都是mqtt消息的回调。

5、CallbackExecutor

  1. CallbackExecutor就是所有异步调用callback处理的Executor,由hivemq统一调配;用户可使用配置内部参数来控制其线程数;来保证broker的性能;CallbackExecutor由CallbackExecutorProvider创建提供。

三、Plugin*Handler

在netty handlers一览中介绍了很多plugin*handler;这些handler都是监听netty的用户自定义event来对callback进行回调

正戏

下来就通过mqtt的connect消息的整个调用处理流程来示例一下mqtt消息和事件处理。

Created with Rapha?l 2.1.0MqttConnectHandlerMqttConnectHandlerMqttConnectHandlerMqttConnectHandlerPluginOnAuthenticationCallbackHandlerPluginOnAuthenticationCallbackHandlerPluginOnAuthenticationCallbackHandlerPluginOnAuthenticationCallbackHandlerPluginAfterLoginCallbackHandlerPluginAfterLoginCallbackHandlerPluginRestrictionsCallbackHandlerPluginRestrictionsCallbackHandlerPluginRestrictionsCallbackHandlerPluginRestrictionsCallbackHandlerPluginOnConnectCallbackHandlerPluginOnConnectCallbackHandlerChannelPersistenceChannelPersistenceMqttConnectPersistenceHandlerMqttConnectPersistenceHandler当接受到connect消息时为pipeline添加MqttDisallowSecondConnect(请查看协议 MQTT-3.1.0-2)验证clientid长度是否符合配置,否则发送ConnAck(REFUSED_IDENTIFIER_REJECTED)到client端删除IdleStateHandler和NoConnectIdleEventHandler(连接建立后,必须在用户配置时间内发送connect消息)触发PluginOnAuthentication事件,让其调用callback进行认证异步遍历所有OnAuthenticationCallback让其认证,每一个callback认证完成会触发一个PluginOnAuthenticationCallbackCompleted事件接收到PluginOnAuthenticationCallbackCompleted,根据用户的插件认证配置决定下一步处理当认证完成后会触发PluginOnAuthenticationCompleted根据client端是否存在LWT,做LWT处理(此处不做过多描述,主要目的是描述流程)为pipeline添加:PluginAfterLoginCallbackHandler,做认证完成回调处理触发PluginAfterLogin事件,让其调用callback进行认证完成结果的通知若认证不通过则发送ConAck(OnAuthenticationCallback返回的return code)到客户端添加PluginRestrictionsCallbackHandler,为客户端进行授权。触发PluginRestrictionsAfterLogin事件,让其遍历调用RestrictionsAfterLoginCallback,让每个callback对客户端进行授权当每个授权都完成后,触发PluginRestrictionsAfterLoginCompleted,将授权信息进行回传为pipeline添加:PluginOnConnectCallbackHandler,让其遍历所有callback进行连接通知当所有OnConnectCallback回调完成,触发PluginOnConnectCompleted事件处理掉与当前clientid一样的连接保存连接添加closeFuture,处理客户端断线若客户端持久session,则触发持久session事件,让MqttConnectPersistenceHandler处理持久session处理采集(统计)当前在线连接数增加添加closeFuture,采集(统计)当前在线连接数减少

流程较多,部分细节处理做了减免描述,为了让大家更清晰地了解消息的处理、事件的处理、以及其相互之间的触发方式,大家如果自己写broker,没必要生搬硬套按照这样的步骤去处理(只要按照mqtt标准/建议的处理流程去处理即可),目的是为了大家了解其处理机制提供一个思路而已。


总结


1、所有的mqtt消息的handler与callbackhandler都是通过netty的自定义event来实现交互的,callbackhandler几乎都是动态加入到pipeline中以减少内存的消耗。

2、所由callbackhandler都使用CallbackExecutor去异步调用callback,并监听对应完成的event来进行交互。

由上可以看出,所有流程都是采用异步处理,同时限制Executor线程数来限制异步同时处理过多,使用netty自定义event来达到相互的交互、以及客户端(plugin、mqtt client)感知的同步。


MQTT交流群:221405150


时间: 2024-10-13 12:03:30

MQTT---HiveMQ源码详解(十二)Netty-MQTT消息、事件处理(流程)的相关文章

node源码详解(二 )—— 运行机制 、整体流程

声明:转载请保留声明头部并标明转载.原文:http://www.cnblogs.com/papertree/p/5225201.html 2.1 项目代码结构 node 主要的部分有4个[下图最左列就是node项目源码的根目录]: 1. 原生 js模块:node提供给 用户js 代码的类接口,平时用的require('fs').require('http')调用的都是这部分的代码.[最左列的 lib文件夹,展开后是左二列] 2. node 源码:node程序的main函数入口:还有提供给lib模

MQTT---HiveMQ源码详解(十)Netty-Statistics

HiveMQ中的内置的统计非常之多,多到可怕,几乎你能想到的统计hivemq都已经帮你想全了:同时第三方plugin还可以定义属于自己的统计. 它的实现采用了Metric框架实现统计.度量.收集的数据可以通过多种数据报告接口,这样可以监控broker运行中的各种数据来监控broker. 所谓统计无外乎就是采集埋点.输出报告 采集埋点 类图 通过StatisticsInitializer实现handlerAdded方法,为pipeline中添加GlobalTrafficCounter(流量计数器)

MQTT---HiveMQ源码详解(十四)Persistence-LocalPersistence

简介 HiveMQ的Persistence提供配置包括File和Memory,以解决不同场景的不同需求,使用者可以自行配置六种信息的PersistenceMode 就代码来讲,又分为LocalPersistence和Cluster/SinglePersistence.LocalPersistence主要是作本地的Persistence:Cluster/SinglePersistence主要是根据用户是否Cluster来决定不同的Persistence业务处理. 本节我们先讲LocalPersis

MQTT---HiveMQ源码详解(十九)Cluster-Request/Response

源博客地址:http://blog.csdn.net/pipinet123 MQTT交流群:221405150 既然是通讯,底层的通讯协议由JGroup负责,那么上层类似于web项目,需要定义Request/Response. Request Request非常多,基本上数量与Serializer差不多,但特征非常明显. Query Request,向其他持有数据的node请求自己需要的数据 Replicate Request, 向其他node分发.备份数据. Node Information

MQTT---HiveMQ源码详解(十六)TopicTree

源博客地址:http://blog.csdn.net/pipinet123 MQTT交流群:221405150 功能 启动时,读取持久化的信息,构建出订阅树 根据可订阅/取消订阅/读取订阅(包括计算出QoS) 类图 既然是一棵树,那么肯定是由一堆Node组成的,TopicTreeNode持有当前的topic的segment,通配符订阅者信息(包含订阅者.订阅的QoS.是否共享订阅.以及共享订阅组信息). 每个节点都可以提供订阅.取消订阅.获得订阅者信息.以及一些订阅树节点的数据的增删改查操作.

AFNetWorking源码详解(二)

来源:Yuzeyang 链接:http://zeeyang.com/2016/03/15/AFNetWorking-two/ AFHTTPSessionManager继承于AFURLSessionManager,提供了更方便的HTTP请求方法,包括了GET.POST.PUT.PATCH.DELETE这五种方式,并且AF鼓励我们在AFHTTPSessionManager再进行一次封装来满足我们自己的业务需求 在开始的地方,AF一直提醒到一个属性baseURL,这个变量你可以在进一步封装的时候,将b

hbase源码系列(十二)Get、Scan在服务端是如何处理?

继上一篇讲了Put和Delete之后,这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程,就像之前的Put和Delete一样,上一篇我本来只打算写Put的,结果发现Delete也可以走这个过程,所以就一起写了. Get 我们打开HRegionServer找到get方法.Get的方法处理分两种,设置了ClosestRowBefore和没有设置的,一般来讲,我们都是知道了明确的rowkey,不太会设置这个参数,它默认是false的. if (get.hasClosestRowBef

Java concurrent AQS 源码详解

一.引言 AQS(同步阻塞队列)是concurrent包下锁机制实现的基础,相信大家在读完本篇博客后会对AQS框架有一个较为清晰的认识 这篇博客主要针对AbstractQueuedSynchronizer的源码进行分析,大致分为三个部分: 静态内部类Node的解析 重要常量以及字段的解析 重要方法的源码详解. 所有的分析仅基于个人的理解,若有不正之处,请谅解和批评指正,不胜感激!!! 二.Node解析 AQS在内部维护了一个同步阻塞队列,下面简称sync queue,该队列的元素即静态内部类No

深入Java基础(四)--哈希表(1)HashMap应用及源码详解

继续深入Java基础系列.今天是研究下哈希表,毕竟我们很多应用层的查找存储框架都是哈希作为它的根数据结构进行封装的嘛. 本系列: (1)深入Java基础(一)--基本数据类型及其包装类 (2)深入Java基础(二)--字符串家族 (3)深入Java基础(三)–集合(1)集合父类以及父接口源码及理解 (4)深入Java基础(三)–集合(2)ArrayList和其继承树源码解析以及其注意事项 文章结构:(1)哈希概述及HashMap应用:(2)HashMap源码分析:(3)再次总结关键点 一.哈希概