flume的案列测试之收集socket端数据,并显示到logger端

步骤:

1.在Linux下安装netcat工具,用户开启socket客户端:

  a.切换至root下

    $>su root

  b.执行安装命令

    $>yum install -y nc

  c.切换至Alex_lei用户下,模拟聊天室:

    $>nc

    开启服务端 $>nc -l 55555

    开启客户端 $>nc localhost 55555

2.创建Agent

  编写agent配置信息,在{FLUME_HOME/conf}目录下,新建example.conf,添加以下代码:

  a1.sources = s1

  a1.channels = c1
  a1.sinks = k1

  #定义agent的source属性
  a1.sources.s1.type = netcat
  a1.sources.s1.bind = master
  a1.sources.s1.port = 55555

  #配置agent的sink属性
  a1.sinks.k1.type = logger

  #配置agent的channel的属性
  a1.channels.c1.type = memory

  a1.sources.s1.channels = c1
  a1.sinks.k1.channel = c1 //注意:a1.sinks.k1.channel后不用有s

3.开启flume进程

$>flume-ng agent --name a1 --conf /home/Alex_lei/soft/flume/conf/ --conf-file /home/hyxy/soft/flume/conf/example.conf -Dflume.root.logger=INFO,consol

4.开启nc客户端

  $>nc master 55555

  hello world

  zhang san

5.结果

  在flume的会话窗口中,显示以下信息:
  Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 hello world }
  Event: { headers:{} body: 7A 68 61 6E 67 20 73 61 6E zhang san }

总结:agent包含三个组件为Source,Channel,Sink,分别代表的意思是数据源,中间管道,起到桥梁的作用,写到什么地方。上述Source为Console,Channel默认为memory内存,Sink为logger。

  若我们要写到hdfs或者hive,我们可以去flume的官网查看相关配置文件的信息,根据自己的需要选择,选择hdfs,我们就去Flume sink下zhaodao hdfs选项查看相关的配置信息进行配置就可以。 

  当然还可以将多个flume串联进行配置,也可以多个flume并联最后输入到一个flume的agent进行写出,官网具有详细的配置方案。 

原文地址:https://www.cnblogs.com/lyr999736/p/10201924.html

时间: 2024-07-31 19:39:15

flume的案列测试之收集socket端数据,并显示到logger端的相关文章

LigerUI中通过加载服务端数据进行表格的分页显示

前言:我的这一篇文章是紧接着上一篇关于LigerUI的文章(http://www.zifangsky.cn/379.html)写的,因此在这里我就省略了相关的环境搭建,直接进入正题 一 介绍 在LigerUI中显示表格是用的ligerGrid,同时我们可以通过配置url参数就可以加载远程数据并显示成表格形式.不仅如此,ligerGrid还可以进行数据的排序和分页显示: (1)排序:需要用到"sortname"和"sortorder"这两个参数,分别表示按哪个字段排序

flume使用之exec source收集各端数据汇总到另外一台服务器

转载:http://blog.csdn.net/liuxiao723846/article/details/78133375 一.场景一描述: 线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink发送到汇总服务器上的flume:汇总服务器上的flume通过avro source接收日志,然后通过file_roll sink写到本地磁盘. 假设:api接口服务器两台 10.153.140.250和10.1

Java网络编程(ECHO案列)

//服务器端 package org.tcp; import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.PrintStream; import java.net.ServerSocket; import java.net.Socket; public class EchoServer { public static void main(String[] args) throws Excepti

(11)网页样式综合案列---灵活的电子相册 {上}

本篇学习资料讲解:       通过css对电子相册进行排版 和 侧面强调“盒子模型.标准流.浮动和定位”的重要性. 先来看看"双向联动模式"的电子相册图: {鼠标指针经过某张图片(或者某段文字)时,相应的文字(或者相应的某张图片)会以特殊样式显示} 以上部分的介绍将出现在(12)网页样式综合案列---灵活的电子相册 {下},这里只是提前感受. 1.搭建基本框架 搭建框架主要应考虑在实际页面中相册的具体结构和形式,包括照片整体排列的方法,用户可能的浏览情况,照片是否需要自动调整,等等.

GL_子模组过账至总账通过SLA修改会计方法改变科目(案列)

2014-06-02 BaoXinjian 一.摘要 通过SLA会计方法的重新定义,修改从子模组过账至总账的默认会计方法,修改会计科目逻辑,实现按不同的会计法设定不同的会计方法 二.案例 1. 定义Mapping set 2. 定义科目5个Segment对应的Account Derivation Rule 3. 定义Journal Line Defination 4. 定义Application Accounting Definitions 5. 定义Subledger Accounting D

oracle创建表案列

下面是以商品交易为案列 做的关于用户.库存.商品.交易的表格

Socket编程】使用C++实现Server端和Client端

我是在Visual Stdio 2013上建立了两个工程,分别编译运行下面的两个main文件,然后进行测试的 服务端:Server.cpp #include #include using std::cout; using std::cin; using std::endl; #include using std::string; #pragma comment(lib,"ws2_32.lib") void main() { //创建套接字 WORD myVersionRequest;

OAF_查询4种不同的实现方式的比较和实现(案列)

2014-06-02 BaoXinjian 一.摘要 OAF实现查询功能或需求,一般都会采用以下四种方式 (1). ResultBasedSearch 最简单的实现方式,将结果中某些栏位需要查询的栏位的属性search设定为true即可 (2). AutoCustomizationCriteria:SimpleSearchPanel & AdvancedSearchPannel 使用最多的查询方式,存在两种方式simple & advanced pannel (3). 完全客制化Searc

php知识案列分享

今天再跟大家分享一下,以下案列. 使用array_flip函数生成随机数,可以去掉重复值. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 <?php $arr=array(); $count1=0; $count = 0; $return = array(); while ($count < 10) { $return[] = mt_rand(1, 10); $return = array_flip(array_flip($return)