1. 背景
很多时候,业务有定时任务或定时超时的需求,当任务量很大时,可能需要维护大量的timer,或者进行低效的扫描。
例如:对每个用户会维护一个APP到服务器的TCP连接,用来实时收发信息,对这个TCP连接,如果连续30s没有请求包,服务端就要将这个连接断开。
一般说怎么实现这类需求呢?
2. 一般思路
2.1 轮询扫描法
(1)用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time;
(2)当某个用户uid有请求包来到,实时更新这个Map;
(3)启动一个timer,当Map中不为空时,轮询扫描这个Map,检查每个uid的last_packet_time是否超过30s,如果超过则进行超时处理
2.2 多timer触发法
(1)用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time;
(2)当某个用户uid有请求包来到,实时更新这个Map,并同时对这个uid请求包启动一个timer,30s之后触发;
(3)每个uid请求包对应的timer触发后,检查Map中,查看这个uid的last_packet_time是否超过30s,如果超过则进行超时处理
轮询扫描法:只启动一个timer,但需要轮询,效率较低
多timer触发法:不需要轮询,但每个请求包要启动一个timer,比较耗资源
特别在同时在线量很大时,很容易CPU100%。
3. 环形队列法
三个数据结构:
(1)30s超时,就创建一个index从0到30的环形队列(本质上数组)
(2)环上每一个slot是一个Set<uid>任务集合
(3)同时还有一个Map<uid, index>记录uid落在环上的哪个slot
算法:
(1)启动一个timer,每隔1s,在上述环形队列中移动一个,0->1->2->3...->29->30->0...
(2)有一个Current Index指针来标识刚检测过的slot
当有某用户uid有请求包达到时:
(1)从Map结构中,查找出这个uid存储在哪个slot里
(2)从这个slot的Set结构中,删除这个uid
(3)将uid重新加入到新的slot,具体是哪一个slot呢?-->Current Index指针所指向的上一个slot,因为整个slot,会被timer在30s之后扫描到
(4)更新Map,这个uid对应slot的index值
哪些元素会被超时删除掉?
Current Index每秒移动一个slot,这个slot对应的Set<uid>中所有uid都应该被集体超时,如果最近30s有请求包来到,一定被放到Current Index的前一个slot,Current Index所在的slot对应Set中所有元素,都是最近30s没有请求包来到的。
所以,当没有超时时,Current Index扫描到的每一个Slot的Set中应该都没有元素。
这个环形队列法是一个通用的方法,Set和Map中可以使任何task,本文的uid是一个最简单的举例。
4. Netty - HashedWheelTimer
原文地址:https://www.cnblogs.com/lujiango/p/9378669.html