准备消息循环的数据
函数原型：
| 1 | let[executor-sampler (mk-stats-sampler (:storm-conf executor-data))] |
主要功能:
定义tuple-action-fn函数，该函数会根据TaskId获得对应的Bolt对象并调用其executor方法.
Bolt输入处理函数
函数原型:
| 1 | tuple-action-fn (fn [task-id ^TupleImpl tuple]) |
主要功能:
获得Bolt对应的bolt-obj，调用executor回调方法。
Bolt的消息发送函数
函数原型：
| 1 | bolt-emit (fn [stream anchors values task]) |
主要功能：
- 调用tasks-fn获取消息接收端的TaskId集合。
- 调用transfer-fn函数发送消息，该函数与Spout中实现类似（唯一的区别不使用overflow-buffer缓存）.
Bolt对象的初始化
调用Bolt的prepare函数
初始化过程:
- 获取Bolt对象并定义相关方法。bolt-emit方法用于向Executor的消息发送队列中发送消息。
- 调用Bolt对象的prepare方法，同时实例化Bolt对象的OutputCollector对象作为prepare方法的传入参数，OutputCollector的emit方法将调用bolt-emit函数来发送消息，ack及fail方法则用来对消息进行跟踪。
- 调用mk-task-receiver函数来获得接收队列的处理函数（tuple-action-fn）。
消息循环
调用阻塞方式的 consume-batch-when-available函数对接收队列中的消息进行处理。
| 1 | (fn [] (distruptor/comsume-batch-when-available receive-queuu event-handler)) |
创建Executor
创建Executor函数mk-executor
函数原型：
| 1 | （defn mk-executor [worker executor-id]） |
方法说明：
- 调用mk-executor-data创建Executor的数据。
- 调用mk-task创建Executor中的每个Task对应的数据。
- 调用start-batch-transfer->worker-handler!方法启动Executor的数据发送线程。
- 调用mk-threads方法获得Executor的主循环线程，并通过with-error-reaction宏对mk-threads进行包装。当异常发生时调用report-error-and-die方法记录错误并退出。
- 实例化RunningExecutor对象用来操作executor.
- 实例化 Shutdownable用于退出Executor并清理相关资源，具体操作包括：
a)结束DisruptorQueue的消息循环。
b)结束Executor中的启动线程
c)清理用户钩子的数据
d)断开与Zookeeper的连接
e)依次调用Executor中Spout或Bolt的close方法.
获取分组函数
函数原型：
| 1 | （defn outbound-components [^WorkerTopologyContext worker-context component-id]） |
功能描述：
获取从组件到某一个流的分组函数，task-fn函数通过调用该分组函数可获得消息的目标Task集合。
函数说明:
- 调用WorkerTopologyContext对象的getTargets方法得到一个哈希表，该哈希表的键为当前组件所对应的流，值为一个哈希表，用于记录目标组件以何种方式从该流接收数据。
- 调用outbound-groupings函数获得分组函数。
outbound-groupings
函数的定义
| 1 | (defn- outbound-groupings [^WorkerTopologyContext worker-context this-component-id stream-id out-fields component->grouping]) |
方法说明：
- 对目标组件进行过滤，若组件对应的TaskId集合为空，怎被过滤掉。
- 用map函数对组件及其分组方式进行处理，调用mk-grouper函数来产生分组函数，并最终返回一个保存有从组件到分组函数的映射关系的哈希表.
mk-grouper
返回一个函数，该函数返回一个TaskId集合，代表消息发送的目的Task集合
函数原型：
| 1 | (defn mk-grouper [^WorkerTopologyContext context component-id stream-id ^Fields out-fields thrift-grouping ^List target-tasks]) |
函数说明：
- 获取与目标组件对应的Task的数目及排列后的列表，它们将作为计算目标Task的函数输入。某些分组方式只需要目标组件的Task数目，如：ShuffleGrouping操作.
- 针对Thrift类型，不同分组方式分别构建分组函数。
触发系统Ticks
setup-ticks!函数定期向Executor的接收消息队列发送Tick消息.Executor在收到Tick消息之后，就会执行发送队列的超时操作。setup-ticks!主要用于对Spout节点发送出去的消息进行操作操作。
函数原型：
| 1 | (defn setup-ticks [worker executor-data]) |
函数说明:
- 配置项TOPOLOGY-TICK-TUPLE-FREQ-SECS用来控制向__system流及__tick流发送消息的频率，tick-time-secs用来保存该频率值，receive-queue为Executor对应的接收Disruptor Queue,context为WorkerTopologyContext对象,Tick消息只发送到本地Worker,并不能被其它Worker的Executor收到。
- 判断tick-time-secs是否设置，若已进行设置则开始设置系统的Tick消息.
- 若该节点为Spout节点且未设置消息超时，则打印消息退出。参数TOPOLOGY-ENABLE-MESSAGE-TIMEOUTS用于调试模式，由于超时的消息会给系统调试带来额外的复杂性，因此可在调试过程中暂时关闭消息的超时操作。当Spout收到Tick消息时，可对缓存在pending对象中的数据进行超时操作。
- 利用Worker定义的用户计时器tick-time-secs为间隔设置计时器，并定义计时器回调函数，向receive-queue中发送一条消息，该消息对应的TaskId为nil,表示该Executor中所有的Task都会收到该消息，消息的内容为tick-time-secs,-1表示系统TaskId,最后一项表示该消息会被发送到SYSTEM-TICK_STREAM.
时间： 2024-10-17 11:31:57