3.概念、模型和特点

  • Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。
  • Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。
    • Source - 数据源 - 消耗外部传递给他的事件，外部源将数据按照Flume Source 能识别的格式将Flume 事件发送给Flume Source
    • Channel - 数据通道 -  是一个被动的存储，用来保持事件，直到由一个Flume Sink消耗。
    • Sink - 数据汇聚点 - 代表外部数据存放位置。发送flume中的事件到指定的外部目标。
  • 复杂流动：Flume允许用户进行多级流动到最终目的地，也允许扇出流（一到多）、扇入流(多到一)的流动和故障转移、失败处理。
  • 可靠性：事务型的数据传递，保证数据的可靠性。
  • 可恢复：通道可以以内存或文件的方式实现，内存更快，但是不可恢复，文件比较慢但提供了可恢复性。
时间： 2024-10-21 22:55:33

3.概念、模型和特点的相关文章

E-R模型、E-R分析介绍

1 简介 1．1 ER模型的作用 以建筑房屋的例子,说明建筑师.建筑工人和原材料商的作用,强调数据库规划师.数据库操作人员和数据库管理系统的作用,指出ER模型是种基于关系模型的数据库整体规划方法. 1．2 ER模型的概念 模型来源于数据概念模型,说明ER模型是一种概念模型设计方法. ER来源于英文单词"实体"和"联系",说明它主要是利用这两个图例的绘制进行表达和设计.由美籍华人陈平山设计.Codd的范式方法不甚适用于全局性设计,除此以外,还有其他一些概念模型设计方法

Andrew Ng机器学习入门——线性回归

本人从2017年起,开始涉猎机器学习.作为入门,首先学习的是斯坦福大学Andrew Ng(吴恩达)教授的Coursera课程 2 单变量线性回归 线性回归属于监督学习(Supervise Learning),就是Right answer is given. 课程中,举了一个估计房产价格的例子,在此,我就直接使用两组数据去作为例子使用线性回归,拟合出效果最好的曲线. 2.1 单变量线性回归算法的思路 根据数据的分布,确定模型其中,h(x)是假设函数(Hypothesis Fuction),θ1和θ

php Laravel安装教程学习笔记

在一切环境就绪了,当然就要开始了解框架了. 站在巨人的肩膀上,学东西会事半功倍.我在网上找到一篇好文章,正好可以让我轻松了解Laravel应用程序的体系结构.因此借来直接用了. 该章节内容翻译自<Architecture of Laravel Applications>,一切版权为原作者,由于原作者写这篇文章时Laravel版本还没有到4.1,一些地方有稍微差别,我会稍作修改. 原作者:Stable Host, LLC(不知道找对了没有) 翻译作者:Bowen Huang 正文: Larave

struts2 MVC模式

在学习struts2之前首先了解一下MVC模式. MVC是一个设计模式,它强制性的使应用程序的输入.处理和输出分开.使用MVC应用程序被分成三个核心部件:模型.视图.控制器.它们各自处理自己的任务.分层概念 模型(Model) 用于封装与应用程序的业务逻辑相关的数据以及对数据的处理方法.“模型”有对数据直接访问的权力,例如对数据库的访问.“模型”不依赖“视图”和“控制器”,也就是说,模型不关心它会被如何显示或是如何被操作.但是模型中数据的变化一般会通过一种刷新机制被公布.为了实现这种机制,那些用

数据质量监控

数据质量的定义 从数据使用者的角度定义,高质量的数据应该是能充分满足用户使用要求的数据. 数据质量的标准 完整性:数据记录是否缺失:字段内容是否缺失. 一致性:字段内容是否满足应有的规则,比如电话号码,IP等:数据之间存在的逻辑关系是否满足,比如pv>=uv,百分比不能超过100%等. 准确性:乱码:异常大或者异常小 及时性:SLA 数据质量的评测流程 数据质量需求分析 确定评价对象和范围 选取数据质量维度及评价标准 确定质量测度及评价方法 运用方法进行评价 结果分析和评级 质量结果和报告 数据

Laravel 应用程序的体系结构(转)

在一切环境就绪了,当然就要开始了解框架了. 站在巨人的肩膀上,学东西会事半功倍.我在网上找到一篇好文章,正好可以让我轻松了解Laravel应用程序的体系结构.因此借来直接用了. 该章节内容翻译自<Architecture of Laravel Applications>,一切版权为原作者,由于原作者写这篇文章时Laravel版本还没有到4.1,一些地方有稍微差别,我会稍作修改. 原作者:Stable Host, LLC(不知道找对了没有) 翻译作者:Bowen Huang 公司:http://

ArcGIS应用视频教程（视频+PPT+实验数据）

视频名称 时长 关键词 内容描述 1.1ArcGIS的安装 11分59秒 安装环境,安装步骤,软件破解,各种问题,解决方法 ArcGIS安装环境,ArcGIS安装步骤,软件破解,安装过程中各种问题和解决方法 1.2ArcGIS体系 13分14秒 软件体系,产品级别,中英文切换,各个模块 ArcGIS软件体系,ArcGIS for Desktop产品级别,中英文切换,各个模块的分工 1.3ArcGIS10.2新特点和学习方法 11分1秒 新特性,文件夹连接,学习方法,操作方法 ArcGIS10.2

《SPA设计与架构》之MV*框架

原文 简书原文:https://www.jianshu.com/p/39f8f0aefdc2 大纲 1.认识MV*框架 2.传统UI设计模式 3.对框架的本质认识--框架有效性和框架分类 4.MV*基础概念 5.为什么要用MV*框架 1.认识MV*框架 MV*术语表示基于浏览器的一系列框架,用于构建应用程序的关注分离.这些框架立足于传统 的UI设计模式,但在整个实现过程中,其遵循某种模式的程度是变化的. 在MV*概念中,M代表模型(Model),V代表视图(View) 模型:典型的模型包含了数据

TCP/IP四层模型和OSI七层模型的概念

转:http://blog.csdn.net/superjunjin/article/details/7841099/ TCP/IP四层模型 TCP/IP是一组协议的代名词,它还包括许多协议,组成了TCP/IP协议簇.TCP/IP协议簇分为四层,IP位于协议簇的第二层(对应OSI的第三层),TCP位于协议簇的第三层(对应OSI的第四层).   TCP/IP通讯协议采用了4层的层级结构,每一层都呼叫它的下一层所提供的网络来完成自己的需求.这4层分别为: 应用层:应用程序间沟通的层,如简单电子邮件传

关于CSS框模型及定位的概念

一.CSS框模型(box model)包含了边框(boder).外边距(margin).内边距(padding).宽(width).高(height).元素(element).背景应用于由内容.边框.内边距组成的区域.单边内边距的属性有四个,分别设有上.右.下.左内边距:padding —top   padding—right  padding—bottom  padding—left. 内边距数值可以是阿拉伯数字(单位厘米),也可以是百分比数值.边框的样式在boder—style中设置,可以定