学习笔记-Redis设计与实现-事件

Redis服务器是一个事件驱动程序,服务器需要处理以下两类事件:

  • 文件事件(file event):Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接,而文件事件就是服务器对套接字操作的抽象。
  • 时间事件(time event):Redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。

12.1 文件事件

Redis基于Reactor模式开发了自己的网络事件处理器,被称为文件事件处理器(file event handler):

  • 文件事件处理器使用I/O多路复用(multiplexing)程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
  • 当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行,但通过使用I/O多路复用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好地与Redis服务器中其他同样以单线程方式运行地模块进行对接,这保持了Redis内部单线程设计地简单性。

12.1.1 文件事件处理器地构成

文件事件处理器的四个组成部分,分别时套接字、I/O多路复用程序、文件事件分派器(dispatcher),以及事件处理器。

文件事件是对套接字操作的抽象,每当一个套接字准备好执行连接应答(accept)、写入、读取、关闭等操作时,就会产生一个文件事件。因为一个服务器通常会连接多个套接字,所以多个文件事件有可能会并发地出现。

I/O多路复用程序负责监听多个套接字,并向文件事件分派器传送产生了事件地套接字。

尽管多个文件事件可能会并发地出现,但I/O多路复用程序总是会将所有产生事件地套接字都放到一个队列里面,然后通过这个队列,以有序(sequentially)、同步(synchronously)、每次一个套接字的方式向文件事件分派器传送套接字。

文件事件分派器接收I/O多路复用程序传来地套接字,并根据套接字产生地事件地类型,调用响应地事件处理器。

12.1.2I/O多路复用程序的实现

12.1.3 事件的类型

I/O多路复用程序可以监听多个套接字的ae.h/AE_READABLE事件和ae.h/AE_WRITEABLE事件,这两类事件和套接字操作之间的对应关系如下:

  • 当套接字变得可读时(客户端对套接字执行write操作,或者执行close操作),或者有新的可应答(acceptable)套接字出现时(客户端对服务器的监听套接字执行connect操作),套接字产生AE_READABLE事件。
  • 当套接字变得可写时(客户端对套接字执行read操作),套接字产生AE_WRITEABLE事件。
  • 如果一个套接字又可读又可写,那么服务器优先读套接字,后写套接字。

12.1.4 API

12.1.5 文件事件的处理器

1、连接应答处理器

2、命令请求处理器

3、命令回复处理器

12.2 时间事件

Redis的时间事件分为定时事件和周期性事件。

一个时间事件主要由以下三个属性组成:

  • id:服务器为时间事件创建的全局唯一ID。
  • when:毫秒精度的UNIX时间戳,记录了时间事件的到达时间。
  • timeProc:时间事件处理器。

一个时间事件是定时事件还是周期性事件取决于时间事件处理器的返回值:

  • 如果事件处理器返回ae.h/AE_NOMORE,事件为定时事件:该事件在达到一次之后就会被删除。
  • 如果事件处理器返回一个非AE_NOMORE的整数值,那么这个事件为周期性事件。

12.2.1 实现

服务器将所有时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。

12.2.2 API

12.2.3 时间事件应用实例:serverCron函数

持续进行的Redis服务器需要定期对自身的资源和状态进行检查和调整,从而确保服务器可以长期、稳定地运行,这些定期操作由redis.c/serverCron函数负责执行,它的主要工作包括:

  • 更新服务器的各类统计信息,比如时间、内存占用、数据库占用情况等。
  • 清理数据库中的过期键值对。
  • 关闭和清理连接失效的客户端。
  • 尝试进行AOF或RDB持久化操作。
  • 如果服务器是主服务器,那么对从服务器进行定期同步。
  • 如果处于集群模式,对集群进行定期同步和连接测试。

12.3 事件的调度与执行

事件的调度和执行规则:

  • aeApiPoll函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询,也可以确保aeApiPoll函数不会阻塞过长时间。
  • 因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,服务器将再次等待并处理文件事件。
  • 对文件事件和时间事件的处理都是同步、有序、原子地执行地,服务器不会中途中断事件处理,也不会进行抢占,因此,不管是文件事件地处理器,还是时间事件地处理器,它们都会尽可能地减少程序地阻塞时间,并在有需要时主动让出执行权,从而降低造成事件饥饿地可能性。
  • 因为时间事件在文件事件之后执行,并且事件之间不会出现抢占,所以时间事件地实际处理时间,通常会比时间事件设定的到达时间稍晚一些。

12.4 重点回顾

  • Redis服务器时一个事件驱动程序,服务器处理的事件分为时间事件和文件事件两类。
  • 文件事件处理器是基于Reactor模式出现的网络通信程序。
  • 文件事件是对套接字操作的抽象:每次套接字变为可应答(acceptable)、可写(writable)或者可读(readable)时,相应的文件事件就会产生。
  • 文件事件分为AE_READABLE事件和AE_WRITEABLE事件两类。
  • 时间事件分为定时事件和周期性事件。
  • 服务器在一般情况下只执行serverCron函数一个时间函数,并且这个事件是周期性事件。
  • 文本事件和时间事件之间是合作关系,服务器会轮流处理这种事件,并且处理事件的过程中也不会产生抢占。
  • 时间事件的实际处理时间通常会比设定的到达时间晚一些。
时间: 2024-10-16 01:27:56

学习笔记-Redis设计与实现-事件的相关文章

学习笔记-Redis设计与实现-数据库

9.1 服务器中得数据库 Redis服务器默认会创建16个数据库. 9.2 切换数据库 默认情况下,Redis客户端得目标数据库为0号数据库,但客户端可以通过执行SELECT命令来切换目标数据库. 9.3 数据库键空间 键空间和用户所见得数据库是直接对应得: 键空间得键就是数据库得键,每个键都是一个字符串对象. 键空间得值也就是数据库的值,每个值可以是字符串对象.列表对象.哈希表对象.集合对象和有序集合对象中的任意一种Redis对象. 9.3.1 添加新键 添加一个新键值对到数据库,实际上就是将

学习笔记-Redis设计与实现-整数集合

整数集合(intset)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素不多时,Redis就会使用整数集合作为集合键的底层实现. 6.1 整数集合的实现 contents数组时整数集合的底层实现:整数集合的每个元素都是contents数组的一个数组项(item),各个项在数组中按值的大小从小到大有序地排列, 并且数组中不包含任何重复项. length属性记录了整数集合包含地元素数量,也即是contents数组的长度. contents数组的真正类型取决于encoding属性

学习笔记-Redis设计与实现-对象

8.1 对象的类型与编码 8.1.1 类型 8.1.2 编码和底层实现 8.2字符串对象 字符串对象的编码可以是int.raw或者embstr. 如果字符串对象保存的是一个字符串值,并且这个字符串值的长度大于32字节(存疑,我电脑上是39字节),那么字符串对象将使用一个简单动态字符串(SDS)来保存这个字符串值,并将对象的编码设置为raw. 如果字符串对象保存的是一个字符串值,并且这个字符串值的长度小于等于32字节,那么字符串对象将使用embstr编码的方式来保存这个字符串值. embstr编码

学习笔记-Redis设计与实现-跳跃表

跳跃表(skiplist)是一种有序数据结构,它通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的. 跳跃表支持平均O(logN).最坏O(N)复杂度的节点查找,还可以通过顺序性操作来批量处理节点. Redis使用跳跃表作为有序结合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中元素的成员(member)是比较长的字符串时,Redis就会使用跳跃表来作为有序集合见的底层实现. 5.1 跳跃表的实现 zskiplist结构,包含以下属性: header:

学习笔记-Redis设计与实现-链表

链表提供了高效的节点重排能力,以及顺序性的节点访问方式,并且可以通过删除节点来灵活地调整链表地长度. 当一个列表键包含了数量比较多地元素,又或者列表中包含的元素都是比较长的字符串时,Redis就会使用链表作为列表键的底层实现. 出了链表键之外,发布与订阅.慢查询.监视器等功能也用到了链表,Redis服务器本身还使用链表来保存多个客户端的状态信息,以及使用链表来构建客户端输出缓冲区(Output buffer) 3.1 链表和链表节点的实现 Redis的链表实现的特性总结如下: 双端:链表节点带有

学习笔记-Redis设计与实现-RDB持久化

10.1 RDB文件的创建和载入 SAVE命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在服务器进程阻塞期间,服务器不能处理任何命令请求. BGSAVE命令会派生出一个子进程,然后由子进程负责创建RDB文件,服务器进程继续处理命令请求. RDB文件的载入工作是在服务器启动时自动执行的,Redis并没有专门用于载入RDB文件的命令,只要Redis服务器在启动时检测到RDB文件存在,就会自动载入RDB文件. 因为AOF文件的更新频率通常比RDB文件的更新频率高,所以: 如果服务器开启了

学习笔记-Redis设计与实现-压缩列表

压缩列表(ziplist)是列表键和哈希键的底层实现之一. 7.1 压缩列表的构成 压缩列表是Redis为了节约内存而开发的,是由一系列特殊编码的连续内存块组成的顺序型(sequential)数据结构.一个压缩列表可以包含任意多个节点(entry),每个节点可以保存数组或者一个整数值. 7.2 压缩列表节点的构成 每个压缩列表节点可以保存一个字节数组或者一个整数值. 每个压缩列表节点都由previous_entry_length.encoding.content三个部分组成. 7.2.1 pre

redis学习笔记——Redis过期键的删除策略

Redis过期键的删除策略 对于过期键一般有三种删除策略 定时删除:在设置键的过期时间的同时,创建一个定时器(timer),让定时器在键的过期时间来临时,立即执行对键的删除操作: 惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键:如果没有过期,那就返回该键: 定期删除:每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键.至于删除多少过期键,以及要检查多少个数据库,则由算法决定. 下面我们来看看三种策略的优缺比较: 定时删除策略对内存是

Cocos2D-X2.2.3学习笔记9(处理重力感应事件,移植到Android加入两次返回退出游戏效果)

这节我们来学习Cocos2d-x的最后一节,怎样处理重力感应事件,移植到Android后加入再按一次返回键退出游戏等.我这里用的Android,IOS不会也没设备呃 效果图不好弄,由于是要移植到真机上的. #ifndef __HELLOWORLD_SCENE_H__ #define __HELLOWORLD_SCENE_H__ #include "cocos2d.h" using namespace cocos2d; class HelloWorld : public cocos2d: