FLUME安装&环境(一):netcat类型配置

1.下载软件

在 /opt/deploy 下新建 flume 文件夹:

# mkdir / opt/deploy / flume

到Flume官网上http://flume.apache.org/download.html下载软件包,例如:

wget "http://mirrors.cnnic.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz"

解压命令:   tar -xzvf apache-flume-1.8.0-bin.tar.gz

删除命令:   rm -f 压缩包名称(rm -f apache-flume-1.8.0-bin.tar.gz)

如果解压目录不是安装目录可以进行移动--mv flume-1.8.0 /opt/deploy/flume

2. 配置环境变量

编辑/etc/profile文件

vi /etc/profile

(注意:FLUME_HOME的路径是你实际解压后的JDK的路径,千万别写错了)

export FLUME_HOME=/opt/deploy/flume/apache-flume-1.8.0-bin

export FLUME_CONF_DIR=$FLUME_HOME/conf

export PATH=.:$PATH::$FLUME_HOME/bin

3.修改配置文件(source类型为netcat,信息来自本地,抽取到日志)

vi /opt/deploy/flume/apache-flume-1.8.0-bin/conf/flume.conf

输入以下内容

# 指定Agent的组件名称

a1.sources = r1

a1.channels = c1

a1.sinks = k1

# 指定Flume source(要监听的路径)

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 8888

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.keep-alive = 60

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# 指定Flume sink--测试为logger

#存储到本地存储中

#a1.sinks.k1.type = file_roll

#日志形式

a1.sinks.k1.type = logger

#a1.sinks.k1.directory = /tmp/log/flume

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

4.配置telnet

因为是本地netcat测试,需要连接telnet,先要测试是否安装telnet

先检查CentOS7.0是否已经安装以下两个安装包:telnet-server、xinetd。命令如下:

rpm -qa telnet-server

rpm -qa xinetd

如果没有安装,则先安装。安装命令:

1.1安装telnet

yum list |grep telnet

yum install telnet-server.x86_64

yum install telnet.x86_64

1.2安装xinetd

yum list |grep xinetd

yum install xinetd.x86_64

安装完成后,将xinetd服务加入开机自启动:

systemctl enable xinetd.service

将telnet服务加入开机自启动:

systemctl enable telnet.socket

1.3重启服务

最后,启动以上两个服务即可:

由于telnet服务也是由xinetd守护的,所以安装完telnet-server,要启动telnet服务就必须重新启动xinetd 。

systemctl start telnet.socket

systemctl start xinetd

1.4开启端口

CentOS 7 采用了 firewalld 防火墙,查询是否开启23端口

# firewall-cmd --query-port=23/tcp

no

显示23端口没有开启使用下面命令开启23端口

# firewall-cmd --zone=public --add-port=23/tcp --permanent

success

重新加载firewall-cmd

# firewall-cmd --complete-reload

success

重新查询23端口是否开放

# firewall-cmd --query-port=23/tcp

yes

success表示已开启!现在可以用telnet命令远程登陆CentOS7快乐玩耍了!

5.启动FLUME

要在flume的安装目录的bin目录下启动

#启动命令

flume-ng agent -c /opt/deploy/flume/apache-flume-1.8.0-bin/conf -f /opt/deploy/flume/apache-flume-1.8.0-bin/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

a1为配置的agent名,-c和-f后是flume的安装路径(必须一致才能启动成功)

6.发送消息,验证连接

Flume启动成功后,重新打开一个连接,输入telnet localhost 8888 ,显示连通后发生消息hello,在启动窗口查看,可以看到收到消息,本地flume搭建成功。

原文地址:https://www.cnblogs.com/koudaiyoutang/p/10106686.html

时间: 2024-10-10 07:56:01

FLUME安装&环境(一):netcat类型配置的相关文章

3.flume安装以及环境配置

1.安装jdk 我这里已经安装过了,这里就不演示了 2.安装flume 安装cdh版本的,http://archive.cloudera.com/cdh5/cdh/5/ 安装完毕之后,配置环境变量. 我们看看文件的结构 bin目录是一些启动文件,conf是配置文件,其他的不用关注,我们进入conf目录,修改一下配置文件 这有一个flume-env.sh.template,我们拷贝一份,cp flume-env.sh.template flume-env.sh 查看是否安装成功 输入flume-n

flume安装配置

flume安装配置 一:下载 下载地址:http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 二:解压 [[email protected] ~]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local/ 改名为flume方便以后操作 [[email protected] local]# pwd /usr/local [root@s100

phonegap安装 环境搭建与配置详解

首先介绍搭建环境的基本准备: 1 java JDK   (搜索一下.......) 2 android SDK 最新版(我当时的版本是 API 19  点击打开链接) 3 Ant 打包工具  (百度一个或者 点击打开链接) 4 eclipse   (建议使用google的  因为内置ADT     点击打开链接 ) 5 ADT (ecplise 里的插件,安卓开发工具插件     下载上面的链接,内部集成了ADT) 6 Node.js   (点击打开链接) 7 sublime  点击打开链接 ;

修改npm安装的全局路径和配置环境变量的坑

修改npm安装的全局路径和配置环境变量的坑 转自:http://www.qdfuns.com/notes/30749/0f66fcf5e62eed010f744d0d4adaa870.html 我之前安装npm时全是默认安装,模块全部安装在C盘了,今天心血来潮,把路径改到了D盘,结果改完后模块都不能识别了,都提示XX模块不是内部命令,这其实是环境变量配置的问题,我都是按照网上的教程改的环境变量,但是照着改也有错,反复改了好几次都不行,最后终于改好了.步骤如下: 1.要在你需要存放模块的文件夹里建

MinGW安装图文教程以及如何配置C语音编程环境

MinGW安装图文教程以及如何配置C语音编程环境 转载自:http://www.jb51.net/softjc/192017.html MinGW 是一组包含文件和端口库,其功能是允许控制台模式的程序使用微软的标准C运行时间库(MSVCRT.DLL),该库在所有的 NT OS 上有效,在所有的 Windows 95 发行版以上的 Windows OS 有效,使用基本运行时间,你可以使用 GCC 写控制台模式的符合美国标准化组织(ANSI)程序,可以使用微软提供的 C 运行时间扩展.该功能是 Wi

ubuntu环境下eclipse的安装以及hadoop插件的配置

ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要输入用户密码. 二.eclipse的配置 待eclipse安装好以后,在命令行输入whereis eclipse 找到eclipse的安装路径 在文件目录下找到eclipse中的插件目录 然后在打开一个文件目录窗口找到hadoop/contrib/eclipse-plugin中的eclipse插件—

Windows环境安装tesseract-ocr 4.00并配置环境变量

最近要做文字识别,不让直接用别人的接口,所以只能尝试去用开源的类库.tesseract-ocr是惠普公司开源的一个文字识别项目,通过它可以快速搭建图文识别系统,帮助我们开发出能识别图片的ocr系统.因为Windows环境开发,我也就必须在windows环境安装系统. 第一步:下载安装包 根据https://github.com/tesseract-ocr/tesseract/wiki,我找到非官方的安装包,好像我只看到64位的安装包http://digi.bib.uni-mannheim.de/

面向的phthon2+3 的场景,Anaconda 安装+环境配置+管理

Anaconda 安装及初始环境配置 面向的phthon2+3 的场景(需求很大) 安装+环境变量配置 Anaconda 安装到win10 (略) 测试一下: 打开 cmd, 运行命令conda --version,如果说"command no found",说明要配环境变量: ? windows 环境变量配置: 我的电脑 - 属性 - 高级系统设置 - 环境变量 - 系统变量 - Path - 编辑 - 加入: C:\Users\sonic\Anaconda2 C:\Users\so

win7+64位+Java学习基本软件安装+环境配置+eclipse(IDE)

一.下载安装JDK 1.安装包下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 根据需要进行下载,我的电脑是win7+64位,所以选择版本:jdk-9.0.1_windows-x64_bin.exe 2.双击安装包 ,点击下一步,建议不要装在C盘,我一般习惯性将所有软件装在E盘下面,首先是安装JDK: 3.继续点击下一步,安装完jdk-9.0.1,会自动安装jre-9.