Flume(2)组件概述与列表

上一节搭建了flume的简单运行环境,并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。

一、flume的基本架构图:

下面这个图基本说明了flume的作用,以及flume中的基本组件:source、channel、sink。

Source:完成对日志数据的收集,分成transtion 和 event 打入到channel之中。  
Channel:主要提供一个队列的功能,对source提供中的数据进行简单的缓存。  
Sink:取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。

 

二、source列表:

简要说明:

1、Avro Source:支持Avro协议(实际上是Avro RPC),内置支持

2、Thrift Source:支持Thrift协议,内置支持

3、Exec Source | 基于Unix的command在标准输出上生产数据

4、JMS Source:从JMS系统(消息、主题)中读取数据,ActiveMQ已经测试过

5、Spooling Directory Source:监控指定目录内数据变更

6、Twitter 1% firehose Source:通过API持续下载Twitter数据,试验性质

7、Netcat Source:监控某个端口,将流经端口的每一个文本行数据作为Event输入

8、Sequence Generator Source:序列生成器数据源,生产序列数据

9、Syslog Sources:读取syslog数据,产生Event,支持UDP和TCP两种协议

10、HTTP Source:基于HTTP POST或GET方式的数据源,支持JSON、BLOB表示形式

11、Legacy Sources:兼容老的Flume OG中Source(0.9.x版本)

三、channel列表:

四、sink列表:

五、processor列表:

六、interceptor列表:

七、其他组件列表:

时间: 2024-10-12 02:54:41

Flume(2)组件概述与列表的相关文章

列表组件概述(转)

全文转至:http://www.cnblogs.com/lyzg/ 这次要介绍的是列表组件.为了写它,我花了有将近2周的晚上,才一点一点的把它写到现在这个程度.到目前为止,一共写了有17个文件,虽然没有覆盖到一些更复杂的场景,但是把我当时计划写这个组件的基本目的已经完成了.先给大家看看我最后写出来的文件情况: 也许有人会好奇,一个列表的功能怎么会写出这么多东西出来?关于这个问题的答案,我稍后再来总结,先让我描述下我写这些东西之前产生的想法. 1. 背景介绍 我是去年5月份在上家公司开始做的前端开

ListView 基础列表组件、水平 列表组件、图标组件

一.Flutter 列表组件概述 列表布局是我们项目开发中最常用的一种布局方式.Flutter 中我们可以通过 ListView 来定义 列表项,支持垂直和水平方向展示.通过一个属性就可以控制列表的显示方向.列表有一下 分类: 1.垂直列表 2.垂直图文列表 3.水平列表 4.动态列表 5.矩阵式列表 二.Flutter 列表参数 三.Flutter 基本列表 四.Flutter 水平列表 ListView( scrollDirection: Axis.horizontal ) 原文地址:htt

前端组件收集整理列表

https://www.luoxiao123.cn/1196.html 这里是收集的web前端开发常用前端开发组件库,搭建web app常用的样式/组件等收集列表(移动优先).主要包含前端框架,构建工具,自动化模块.jQuery插件.前端样式等,囊括最实用的前端开发组件库! 0. 前端自动化 前端构建工具 gulp – The streaming build system grunt – the JavaScript Task Runner webpack(模块管理兼打包):http://web

Vue把父组件的方法传递给子组件调用(评论列表例子)

Vue把父组件的方法传递给子组件调用(评论列表例子) 效果展示: 相关Html: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="../js/vue-2.4.0.js"></script> <link

Android开发四大组件概述

这个文章主要是讲Android开发的四大组件,本文主要分为 一.Activity具体解释 二.Service具体解释 三.Broadcast Receiver具体解释 四.Content Provider具体解释 外加一个重要组件 intent的具体解释.(主要来自于网络) 1.Activity 一个Activity通常展现为一个可视化的用户界面.比如,一个activity可能展现为一个用户能够选择的菜单项列表或者展现一些图片以及图 片的标题.一个消息服务应用程序可能包括一个显示联系人列表的ac

【Flutter学习】基本组件之基本列表Gradview组件

一,概述 数据量很大的时用矩阵方式排列比较清晰,此时用网格列表组件,即为GridView组件,可实现多行多列的应用场景. 使用GridView创建网格列表有多种方式: GridView.count 通过单行展示个数创建GridView. GridView.extend通过最大宽度创建GridView. 二,构造函数 GridView 使用场景:使用自定义SliverGridDelegate创建可滚动的2D小部件数组 构造函数 GridView({Key key, Axis scrollDirec

HeartBeat 集群组件概述

Heartbeat 是一个基于Linux开源的高可用集群系统.主要包括心跳服务和资源接管两个高可用集群组件.心跳监测服务可以通过网络链路和串口进行,而且支持冗余链路, 它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资源接管模块来接管运行在对方主机上的资源或者服务.本文简要描述了heartbeat v2集群架构组件及其相关概念,供大家参考. 一.高可用集群的特点 高可用服务 通常使用集群方式实现,这也是集群的最大作用和体现. 其

Bootstrap入门(二十二)组件16:列表组

列表组是灵活又强大的组件,不仅能用于显示一组简单的元素,还能用于复杂的定制的内容. 1.默认样式列表组 2.加入徽章 3.链接 4.禁用的列表组 5.情景类 6.定制内容 1.默认样式列表组 最简单的列表组仅仅是一个带有多个列表条目的无序列表 <div class="container"> <ul class="list-group"> <li class="list-group-item">123</l

MUI组件三:列表、遮罩蒙版、数字输入框、侧滑导航和弹出菜单

1.list(列表) 列表是常用的UI控件,mui封装的列表组件比较简单,只需要在ul节点上添加.mui-table-view类.在li节点上添加.mui-table-view-cell类即可,如下为示例代码 <ul class="mui-table-view"> <li class="mui-table-view-cell">Item 1</li> <li class="mui-table-view-cell&q