《OD学Flume》20160806

一、Flume

Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。

1. 架构方式

1）所有应用使用一台flume服务器；

2）所有应用共享flume集群；

3）每个应用使用一台flume，然后使用一个flume节点收集分散的flume数据；

2. flume组件

1）启动的每个flume进程（jvm进程），称为agent

每个flume agent：

source：与外部数据源结合，获取或者接收数据

（1）source主动从外部数据源上获取数据

（2）source接收外部数据源发送过来的数据

channel：缓存，类似队列，先进先出

（1）容错： File channel

（2）缓冲

sink：从channel里面获取数据，发送出去

flume：就是简单地选择合适的source、channel、sink类型

二、安装部署

1）下载安装包

2）解压安装

3）修改配置文件

flume-env.sh.template  -> flume-env.sh.template

JAVA_HOME

JAVA_OPTS