Flume的安装与配置

Flume的安装与配置

一、       资源下载

资源地址:http://flume.apache.org/download.html

程序地址:http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

源码地址:http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-src.tar.gz

二、       安装搭建

(1)编译好的包:

直接在安装目录解压即可(重命名可选)

cd /usr/local/

tar –zxvf apache-flume-1.6.0-bin.tar.gz

mv apache-flume-1.6.0-bin flume

(2)源码编译安装:

这种方法比较麻烦,要把需要的包都下载全,然后用以下命令编译:

  1. 只进行编译:mvn clean compile
  2. 编译并且执行单元测试:mvn clean test
  3. 单独运行单元测试: mvn clean test -Dtest=<Test1>,<Test2>,... -DfailIfNoTests=false
  4. 创建压缩包: mvn clean install
  5. 跳过单元测试创建压缩包: mvn clean install –DskipTests

编译完成之后,和直接运行可执行包的

三、       运行与配置

(1)flume的配置

# example.conf: A single-node Flume configuration

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /flume/test.log

# Describe the sink

a1.sinks.k1.type = hdfs

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.hdfs.path=hdfs://192.168.15.135:9000/flume/events/%y-%m-%d/%H%M/%S

a1.sinks.k1.hdfs.filePrefix = events-

a1.sinks.k1.hdfs.round = true

a1.sinks.k1.hdfs.roundValue = 10

a1.sinks.k1.hdfs.roundUnit = minute

a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

配置文件分为四个部分source、sink、channel和它们之间的关联关系;flume之间模块的关系如下图:

如图:source是负责从WebServer收集数据信息,Sink负责将收集和格式化后的日志写入到磁盘、其他文件系统或其他日志系统,channel是负责连接source和sink。因为有channel的存在,所以source和sink是多对多的关系。


# example.conf: A single-node Flume configuration


# Name the components on this agent


a1是代理的名字


a1.sources = r1


定义一个source:r1


a1.sinks = k1


定义一个sink:k1


a1.channels = c1


定义一个channel:c1


# Describe/configure the source


a1.sources.r1.type = exec


a1的r1的类型为exec(执行类型)


a1.sources.r1.command = tail -F /flume/test.log


a1的r1要执行的命令为tail一个test.log


# Describe the sink


a1.sinks.k1.type = hdfs


a1的sink类型为hdfs


# Use a channel which buffers events in memory


a1.channels.c1.type = memory


a1的channel的类型为存在内存


a1.channels.c1.capacity = 1000


a1的容量为1000


a1.channels.c1.transactionCapacity = 100


a1的交互容量为100


a1.sinks.k1.hdfs.path=hdfs://192.168.15.135:9000/flume/events/%y-%m-%d/%H%M/%S


a1的叫k1的sink的最终存储的文件系统的路径是:hdfs://……


a1.sinks.k1.hdfs.filePrefix = events-


sink在存储文件的时候的前缀为event-


a1.sinks.k1.hdfs.round = true


hdfs配置项


a1.sinks.k1.hdfs.roundValue = 10


hdfs配置项


a1.sinks.k1.hdfs.roundUnit = minute


hdfs配置项


a1.sinks.k1.hdfs.useLocalTimeStamp = true


将用本地时间戳设置为true


# Bind the source and sink to the channel


a1.sources.r1.channels = c1


把source-r1绑定到channel-c1


a1.sinks.k1.channel = c1


把sink-k1绑定到channel-c1

(2)flume的运行方法为:

$ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties

-n  指定代理(agent)名字;

-c  conf指定配置文件的目录(主要是日志等其他配置文件的目录);

-f  本次运行的flume的配置文件,需要添加路径(模式是在工程的根路径flume/)

执行命令例如:

$ bin/flume-ng agent -n a1 -c conf -f conf/example.conf

执行成功之后,我们可以在logs的flume.log中看到日志。

另外,还可以用以下方式启动,来指定日志输出:

$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

--conf :与-c相同;

--conf-file :与-f相同;

--name:与-n相同;

flume.root.logger:指定日志级别和显示方式,上述命令为INFO,输出到终端;如果没有此项,像之前的命令一样,默认的级别是INFO,输出到LOGFILE。

四、       备注

(1)可选的source有:

(2)可选的sink有:

详细配置参考:http://flume.apache.org/FlumeUserGuide.html#flume-sources

时间: 2024-10-10 07:55:55

Flume的安装与配置的相关文章

Flume单机安装与配置

下载 apache-flume-1.6.0-bin.tar.gz 解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz 配置 cp conf/flume-conf.properties.template conf/flume-conf.properties cp conf/flume-env.sh.template conf/flume-env.sh flume-env.sh # Enviroment variables can be set here. expo

flume详细介绍,安装,配置

一.什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,c

让你系统认识flume及安装和使用flume1.5传输数据到hadoop2.2

问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一.认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜集日志?我们把flume比作情报人员(1)搜集信息(2)获取记忆信息(3)传递报告间谍信息flume是怎么完成上面三件事情的,三个组件:source: 搜集信息channel:传递信息sink:存储信息上面有点简练,详细可以参考Flume内置channe

flume学习安装

最近项目组有需求点击流日志需要自己收集,学习了一下flume并且安装成功了.相关信息记录一下. 1)下载flume1.5版本 wget http://www.apache.org/dyn/closer.cgi/flume/1.5.0.1/apache-flume-1.5.0.1-bin.tar.gz 2) 解压flume1.5 tar -zxvf apache-flume-1.5.0.1-bin.tar.gz 3) 配置环境变量 jdk已装 export FLUME_HOME=/XXX/XX/a

日志采集框架Flume的安装及使用

日志采集框架Flume的安装及使用 1.Flume介绍 1.1.Flume概述 Flume是一个分布式.可靠.和高可用(旧版Flume og才有高可用)的海量日志采集.传输和聚合的系统. Flume可以采集文件,socket数据包等各种形式源数据, 又可以将采集到的数据输出到HDFS.hbase.hive.kafka等众多外部存储系统中 一般的采集需求,通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景 1.2

apache flume agent安装

1.Flume Agent安装(采用spoolDir模式以便获取系统.应用等日志信息) 注:使用jyapp用户安装 一台虚拟机部署了多个JAVA应用同时需要部署多个flume-agent进行监控时, 需要调整如下配置文件: a    flume-agent/conf/app.conf中的spool_Dir参数 b    flume-agent/conf/flume-env.sh中的jmxremote.port参数 c    logback.xml中fileNamePattern参数 d    f

apache flume collector 安装

2.Flume Collector安装(通过extends AbstractSink implements Configurable,直接写入数据库) 2.1 安装环境 系统: CentOS release 6.6 软件: flume-collector.tar.gz 2.2 安装步骤 2.2.1 部署Flume Collector 具体脚本(jyapp用户): cd  /home/jyapp tar  -zxvf  flume-collector.tar.gz cd  flume-collec

Flume的安装部署

1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME 2.根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义) 3.指定采集方案配置文件,在相应的节点上启动flume agent 先用一个最简单的例子来测试一下程序环境是否正常 1.先在

02_ Flume的安装部署

一.Flume的安装部署: Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 安装包的下载地址为:http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 1. 上传安装包到数据源所在节点上; 2. 然后解压:tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/ 3. 然后进入flume的目录,修改conf下的flume-