概述
Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。
Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。
Apache Flume是Apache Software Foundation的顶级项目，目前有两个发布代码行，版本0.9.x和1.x.
系统要求
1.Java运行时环境 - 一定要匹配（譬如flume1.8.0，使用jdk 1.8或更高版本）
2.内存 - 源，通道或接收器使用的配置具有足够的内存
3.磁盘空间 - 通道或接收器使用的配置有足够的磁盘空间
4.目录权限 - 代理使用的目录的读/写权限
安装配置
单节点Flume部署。该配置允许用户生成事件并随后将其记录到控制台。
1.官网下载自己想要的flume版本，上传至linux并解压到自己想要安装的路径下
2.配置环境变量：vim /etc/profile
3.立即生效 source /etc/profile
找到自己的安装路径：
例如/opt/apache-flume-1.8.0-bin/conf，在此路径下vim example.conf，再copy以下配置
#example.conf：单节点Flume配置 #命名此代理上的组件 a1.sources=r1 a1.sinks=k1 a1.channels=c1 #描述/配置源 a1.sources.r1.type=netcat a1。 sources.r1.bind=localhost a1.sources.r1.port=44444 #描述sink a1.sinks.k1.type=logger #使用缓冲内存中事件的通道 a1.channels.c1.type=memory a1.channels .c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #将信源和信宿绑定到信道 a1.sources.r1.channels=c1 a1.sinks.k1.channel=c1
该配置定义了一个名为a1的代理。a1有一个侦听端口44444上的数据的源，一个缓存内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。配置文件命名各种组件，然后描述它们的类型和配置参数。给定的配置文件可能会定义多个命名代理; 当给定的Flume进程启动时，会传递一个标志，告诉它哪个指定的代理要显示。
启动flume，在目录/opt/ apache-flume-1.6.0-bin/bin下，运行flume
flume-ng agent -n a1 -f /conf/example.conf -Dflume.root.logger=INFO,console
参数说明：
-n 指定agent名称
-c 指定配置文件目录
-f 指定配置文件
-Dflume.root.logger=DEBUG,console 设置日志等级
打开另一个连接终端，远程到44444端口，然后发送flume事件进行测试
telnet localhost 44444
原文地址：https://www.cnblogs.com/Soy-technology/p/11645920.html