在Spark1.3之前,默认的Spark接收Kafka数据的方式是基于Receiver的,在这之后的版本里,推出了Direct Approach,现在整理一下两种方式的异同。
1. Receiver-based Approach
val kafkaStream = KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )
2. Direct Approach (No Receivers)
val directKafkaStream = KafkaUtils.createDirectStream[
源码实现
1、 KafkaUtils.createStream
首先从源码层面来看,其主要调用栈顺序:
KafkaUtils.createStream---KafkaInputDStream--KafkaReceiver
KafkaReceiver类继承了Receiver,当Reciver被调用起来时,执行onStart()方法,MessageHandler负责将收到的数据进行存储。执行流程如下:
- 创建createStream,Receiver被调起执行
- 连接ZooKeeper,读取相应的Consumer、Topic配置信息等
- 通过consumerConnector连接到Kafka集群,收取指定topic的数据
- 创建KafkaMessageHandler线程池来对数据进行处理,通过ReceiverInputDStream中的方法,将数据转换成BlockRDD,供后续计算
2、 KafkaUtils.createDirectStream
主要调用栈顺序:
KafkaUtils.createDirectStream—> new DirectKafkaInputDStream
执行流程如下:
- 实例化KafkaCluster,根据用户配置的Kafka参数,连接Kafka集群
- 通过Kafka API读取Topic中每个Partition最后一次读的Offset
- 接收成功的数据,直接转换成KafkaRDD,供后续计算
原文地址:https://www.cnblogs.com/geek-sharing/p/9339681.html
时间: 2024-07-30 04:55:45