一.Flume的安装部署:
Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境
安装包的下载地址为:http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz
1. 上传安装包到数据源所在节点上;
2. 然后解压:tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/
3. 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME
4. 根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
5. 指定采集方案配置文件,在相应的节点上启动flume agent
二.使用示例:
利用Flume来实现一个从Socket网络端口中采集数据,然后下沉到logger日志中的案例(源数据:网络端口)
1.配置采集方案:在Flume的conf目录下面编写一个netcat-logger.conf文件,内容如下:
# Name the components on this agent:a1:表示该agent的名字 #给三个组件取个名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source #类型, 从网络端口接收数据,在本机启动, 所以type=spoolDir采集目录源,目录里有就采 a1.sources.r1.type = netcat a1.sources.r1.bind = shizhan2 a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory #下沉的时候是一批一批的, 下沉的时候是一个个event,Channel参数解释: #capacity:默认该通道中最大的可以存储的event事件数量 #trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
2.使用下面的命令启动Flume:启动agent去采集数据
# bin/flume-ng agent --c conf -f conf/netcat-logger.conf --n a1 -Dflume.root.logger=INFO,console
-c conf:指定flume自身的配置文件所在目录
-f conf/netcat-logger.conf:指定我们所描述的采集方案
-n a1:指定我们这个agent的名字
3.传入数据:在另一台机器上执行下面的命令:先要往agent采集监听的端口上发送数据,让agent有数据可采
然后在启动flume的另一端有数据输出
原文地址:https://www.cnblogs.com/yaboya/p/9305201.html