Flume 1.7.0单机版安装

下载解压到/usr/local/flume



配置环境变量

export FLUME_HOME=/usr/local/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin


在conf里配置flume-env.sh  添加jdk路径

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64


flume-ng version

验证是否安装成功

[email protected]:~# flume-ng version
Flume 1.7.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707
Compiled by bessbd on Wed Oct 12 20:51:10 CEST 2016
From source with checksum 0d21b3ffdc55a07e1d08875872c00523

ps:如果报这错java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty

就将hbase的hbase.env.sh的一行配置注释掉

#export HBASE_CLASSPATH=/xxx


在conf里创建single-node.conf

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1



运行

bin/flume-ng agent --conf conf --conf-file conf/single-node.conf --name a1 -Dflume.root.logger=INFO,console


另外打开一个终端

telnet 127.0.0.1 44444

Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.



然后在这边随便输入内容,再去原来的终端观察

时间: 2024-10-07 11:57:02

Flume 1.7.0单机版安装的相关文章

hadoop2.6和hbase1.0单机版安装配置

环境 系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧. hadoop安装 1.安装位置:/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 4.给hadoop添加权限 sudo vim /etc/sudoers 在

Flume1.5.0的安装、部署、简单应用(含分布式、与hadoop2.2.0、hbase0.96的案例)

目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安装? 五.flume的案例 1)案例1:Avro 2)案例2:Spool 3)案例3:Exec 4)案例4:Syslogtcp 5)案例5:JSONHandler 6)案例6:Hadoop sink 7)案例7:File Roll Sink 8)案例8:Replicating Channel Sel

Flume官方文档翻译——Flume 1.7.0 User Guide (unreleased version)(二)

Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Logging raw data(记录原始数据) Logging the raw stream of data flowing through the ingest pipeline is not desired behaviour in many production environments because this may result in leaking sensit

Flume官方文档翻译——Flume 1.7.0 User Guide (unreleased version)(一)

Flume 1.7.0 User Guide Introduction(简介) Overview(综述) System Requirements(系统需求) Architecture(架构) Data flow model(数据流模型) Complex flows(复杂流) Reliability(可靠性) Recoverability(可恢复性) Setup(配置)Configuration(配置 Setting up an agent(设置一个agent) Configuring indiv

Flume 1.5.0简单部署试用

================================================================================ 一.Flume简介 ================================================================================ 1.概述 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume 支持在日志系统中定制各类数据发

zookeeper单机版安装

一.zookeeper单机版安装 下载zookeeper-3.4.6.tar.gz 解压在/opt目录下 在/home/zookeeper-3.4.6目录下创建以下目录: mkdir data mkdir logs 将/opt/zookeeper-3.4.6/conf/下的zoo.sample.cfg 文件拷贝一份,命名为zoo.cfg cp zoo_sample.cfg zoo.cfg 修改zoo.cfg的配置文件: vi zoo.cfg: # The number of millisecon

linux 下mongodb 3.2.5单机版安装

mongodb3.0.x的安装教程网上很多,这里主要介绍3.2.5的安装 linux iso 在\\10.10.10.1\ShareDoc\User\yipengzhi\ISO\Centos7.0  这个安装就不介绍了 mongodb 3.2.5安装包在 Linux 版本:\\10.10.10.1\sharedoc\user\7.0\mongodb-3.2.5-linux-5-23-s.zip 单机版: 以root用户登录centos 右键,点击 open in Terminal打开一个终端,然

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

flume 1.8.0 开发基础

本文由云+社区发表 作者:皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集.聚合.传输到一个集中式数据存储的分布式.高可靠.高可用的系统. Apache Flume是Apache基金会的顶级项目.现在有两个代码版本线可以获取:0.9.x和1.x.本文档对应的是1.x版本. 数据流模型 Event是流经flume agent的最小数据单元.一个Event(由Event接口实现)从source流向channel,再到sink.Event包含了一个payload(byte a