一、Flume概述
Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。
二、Flume的作用
数据的来源大致有三类：
1.爬虫
2.日志数据 =>使用Flume进行获取传输
3.传统数据库 =>使用Sqoop进行数据迁移
三、Flume架构
1.source：数据源
接收webser端的数据，产生数据流
同时source将产生数据流传输到channel
2.channel：传输管道
用于桥接source和sinks
3.sinks：下沉
从channel接收数据，并传输到hdfs或下一个agent
4.agent：代理
一个agent中包含一组source,channel,sinks
四、Flume的安装部署
1.从官网下载flume安装包(本人使用的是1.6.0版本)
2.上次到linux中解压
tar -zxvf ***.tar
3.重命名解压缩的文件夹为flume，方便以后更新维护
4.进去flume下的conf文件夹，将文件flume-env.sh.template重命名为flume-env.sh
5.进去该文件，删除java_home的注释，并修改java路径为本机的java_home路径
export JAVA_HOME=/root/hd/jdk1.8.0_102
6.保存并退出，安装完成！
原文地址：https://www.cnblogs.com/HelloBigTable/p/10424098.html