02_ Flume的安装部署

一.Flume的安装部署:

 Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境

 安装包的下载地址为:http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

 1. 上传安装包到数据源所在节点上;

 2. 然后解压:tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/

 3. 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME

 4. 根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)

 5. 指定采集方案配置文件,在相应的节点上启动flume agent

二.使用示例:

  利用Flume来实现一个从Socket网络端口中采集数据,然后下沉到logger日志中的案例(源数据:网络端口)

  1.配置采集方案:在Flume的conf目录下面编写一个netcat-logger.conf文件,内容如下:

# Name the components on this agent:a1:表示该agent的名字
#给三个组件取个名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#类型, 从网络端口接收数据,在本机启动, 所以type=spoolDir采集目录源,目录里有就采
a1.sources.r1.type = netcat
a1.sources.r1.bind = shizhan2
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
#下沉的时候是一批一批的, 下沉的时候是一个个event,Channel参数解释:
#capacity:默认该通道中最大的可以存储的event事件数量
#trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

   2.使用下面的命令启动Flume:启动agent去采集数据

  # bin/flume-ng agent --c conf -f conf/netcat-logger.conf --n a1 -Dflume.root.logger=INFO,console

    -c conf:指定flume自身的配置文件所在目录

    -f conf/netcat-logger.conf:指定我们所描述的采集方案

    -n a1:指定我们这个agent的名字

  3.传入数据:在另一台机器上执行下面的命令:先要往agent采集监听的端口上发送数据,让agent有数据可采

  

  然后在启动flume的另一端有数据输出

  

  

 

原文地址:https://www.cnblogs.com/yaboya/p/9305201.html

时间: 2024-11-09 00:50:33

02_ Flume的安装部署的相关文章

Flume NG安装部署及数据采集测试

转载请注明出处:http://www.cnblogs.com/xiaodf/ Flume作为日志收集工具,监控一个文件目录或者一个文件,当有新数据加入时,采集新数据发送给消息队列等. 1 安装部署Flume 若要采集数据节点的本地数据,每个节点都需要安装一个Flume工具,用来做数据采集. 1.1 下载并安装 到官网去下载最新版本的Flume 下载地址为:http://flume.apache.org/,目前最新版本为1.6.0,需要1.7及以上版本的JDK. 1.解压 tar -xzvf ap

Flume的安装部署

1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME 2.根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义) 3.指定采集方案配置文件,在相应的节点上启动flume agent 先用一个最简单的例子来测试一下程序环境是否正常 1.先在

Flume的概述和安装部署

一.Flume概述 Flume是一种分布式.可靠且可用的服务,用于有效的收集.聚合和移动大量日志文件数据.Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力.Flume使用简单的的可扩展数据模型,循环在线分析应用程序. 二.Flume的作用 数据的来源大致有三类: 1.爬虫 2.日志数据 =>使用Flume进行获取传输 3.传统数据库 =>使用Sqoop进行数据迁移 三.Flume架构 1.source:数据源 接收webser端的数据

2 安装部署flume

本文对flume进行安装部署 flume是什么?传送门:https://www.cnblogs.com/zhqin/p/12230301.html 0.要安装部署在日志所在的服务器,或者把日志发送到日志所在的节点上 安装前准备 1) Flume官网地址 http://flume.apache.org/ 2)文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3)下载地址 http://archive.apache.org/dist/flume/

Flume安装部署

l Flume的安装非常简单上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOMEl 根据数据采集需求配置采集方案,描述在配置文件中(文件名可任意自定义)l 指定采集方案配置文件,在相应的节点上启动flume agent先用一个最简单的例子来测试一下程序环境是否正常1.先在flume的conf目录下新建一个文件vi netcat-logge

分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 淘宝开源了许多产品组件

Kafka介绍及安装部署

本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件 消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1

apache flume agent安装

1.Flume Agent安装(采用spoolDir模式以便获取系统.应用等日志信息) 注:使用jyapp用户安装 一台虚拟机部署了多个JAVA应用同时需要部署多个flume-agent进行监控时, 需要调整如下配置文件: a    flume-agent/conf/app.conf中的spool_Dir参数 b    flume-agent/conf/flume-env.sh中的jmxremote.port参数 c    logback.xml中fileNamePattern参数 d    f

apache flume collector 安装

2.Flume Collector安装(通过extends AbstractSink implements Configurable,直接写入数据库) 2.1 安装环境 系统: CentOS release 6.6 软件: flume-collector.tar.gz 2.2 安装步骤 2.2.1 部署Flume Collector 具体脚本(jyapp用户): cd  /home/jyapp tar  -zxvf  flume-collector.tar.gz cd  flume-collec