Flume 基于Channel Selector可以实现扇入、扇出。
同一个数据源分发到不同的目的,如下图。
在source上可以定义channel selector:
1 2 3 4 5 6 7 8 9 |
|
但是这个type变量从哪里来呢?
解决方法:
1、修改用到的那个source的源码,应用到client端,不同的数据类型添加不同的type
2、在source端配置interceptor,通过interceptor在header上设置变量type
比如:
使用regex_extractor,对传过来的数据进行处理,提取出type值(如果可以的话,可以在client端的数据格式添加type值,方便使用regex_extractor提取出来)。
3、在source端自定义interceptor,在interceptor里对处理变量type
时间: 2024-11-04 00:06:29