Storm高级属性

之前写了2篇文章讲述了Storm的基本知识。最近也学习了Storm的高级属性了,单纯粹还是属于了解的状态。我就简单介绍几个比较简单的属性。

1.DRPC。简称分布式RPC,模型图:

用户直接面对的是DRPC Server,避开了所有的拓扑逻辑,Storm提供了一个名为LinearDRPCTopologyBuilder的线性拓扑构建器,他把DRPC所做的几乎所有步骤都自动实现了。本地模式的代码例子如下:

LocalDRPC drpc = new LocalDRPC();
LocalCluster cluster = new LocalCluster();

cluster.submitTopology("drpc-demo", conf, builder.createLocalTopology(drpc));

System.out.println("Results for 'hello':" + drpc.execute("exclamation", "hello"));

cluster.shutdown();
drpc.shutdown();

2.事务拓扑。事务拓扑的概念可以理解为就是和事务的概念差不多。Storm在0.7.0版本中引入了事务拓扑的概念,使你能够对几乎任何计算得到确切的一切消息语义。事务拓扑的一个核心思想是:

(1)、如果数据库中的事务id,与当前事务的id一样,跳过更新

(2)、如果2者id不同,则只需更新操作

(3)、由(1),(2)的保证,一旦提交了一个特定的事务id,所有之前的事务id将永远不会被再次提交。

事务拓扑的实现是由Storm的TransactionTopologyBuilder类来创建事务拓扑。

3.Trident.Trident是Storm实时计算的高层抽象,他提供了更加便利和直观的接口。Trident是Storm实时计算的高层抽象。Trident有连接,聚合,分组,函数和过滤器等操作。Trident的实现也是用Storm提供的TridentTopology。Trident API用于对数据进行转换盒组织。Trident有5种类型的操作:

(1).本地分区操作,应用本地到每个分区,不需要网络传输

(2).重新分区操作,重新分区一个流但不改变其内容,需要网络传输

(3).聚合操作,网络传输是该操作的一部分

(4).流分组操作

(5).合并与连接

在后来的Storm的发展中,也出现了与Storm发展的一些开源项目

1.JStorm(JStorm继承了Storm的全部优点,并改进部分Storm的不足,提高了Storm的性能和稳定性)

2.storm-deploy

3.Storm与Kafka项目

4.Storm-kestrel项目

时间: 2024-11-08 10:55:50

Storm高级属性的相关文章

CSS3里面的高级属性

-webkit-tap-highlight-color 这个属性只用于iOS (iPhone和iPad).当你点击一个链接或者通过Javascript定义的可点击元素的时候,它就会出现一个半透明的灰色背景.要重设这个表现,你可以设置-webkit-tap-highlight-color为任何颜色. 想要禁用这个高亮,设置颜色的alpha值为0即可. 示例 设置高亮色为50%透明的红色: -webkit-tap-highlight-color: rgba(255,0,0,0.5); 浏览器支持:

内省、JavaBean、PropertyDescriptor类、Introspector类、BeanUtils工具包、注解、Rentention、Target、注解的基本属性和高级属性

内省.JavaBean.PropertyDescriptor类.Introspector类.BeanUtils工具包.注解.Rentention.Target.注解的基本属性和高级属性 本文转载自:http://blog.sina.com.cn/s/blog_5d65a16901011kom.html 关键字:内省.JavaBean.PropertyDescriptor类.Introspector类.BeanUtils工具包.注解.Rentention.Target.注解的基本属性和高级属性 内

Navicat for SQL Server 高级属性(状态)

Navicat for SQL Server可进行创建.编辑和删除全部数据库对象, 是一个全面的图形化方式管理数据库.但是很多的用户朋友对其了解的不够,我们来给大家做些教程讲解.本教程将详解 Navicat for SQL Server 高级属性(状态). Navicat for SQL Server 数据库只读:勾选此项,用户可以从数据库读取数据,但不能修改. 数据库状态:可选择的数据库状态. ● OFFLINE:数据库已关闭并标记为脱机.数据库脱机时,不能进行修改. ● ONLINE:该数据

C# 操作 Word 修改word的高级属性中的自定义属性

word的类库使用的是word2007版本的类库,类库信息见下面图片,折腾了半天,终于找到入口,网上 很多说的添加或者修改word的高级属性中的自定义属性都是错误的,感觉都是在copy网上的代码,自己终于摸索成功了,Mark下. 直接上代码,代码如下: [csharp] view plaincopy using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.

Expo大作战(二十三)--expo中expo kit 高级属性(没干货)

简要:本系列文章讲会对expo进行全面的介绍,本人从2017年6月份接触expo以来,对expo的研究断断续续,一路走来将近10个月,废话不多说,接下来你看到内容,讲全部来与官网 我猜去全部机翻+个人修改补充+demo测试的形式,对expo进行一次大补血!欢迎加入expo兴趣学习交流群:597732981 [之前我写过一些列关于expo和rn入门配置的东i西,大家可以点击这里查看:从零学习rn开发] 相关文章: Expo大作战(一)--什么是expo,如何安装expo clinet和xde,xd

hbase建表create高级属性 //hbase 表预分区也就是手动分区 这个很重要

2019/2/19 星期二 hbase建表create高级属性 //hbase 表预分区也就是手动分区 这个很重要 下面几个shell 命令在后续的hbase 操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性1.BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式布隆过滤可以每列族单独启用.使用HColumnDescriptor.setBloomFilterType(NONE |ROW | ROWCOL) 对列族单独启用布隆.Default = N

CSS3那些不为人知的高级属性

尽管现代浏览器已经支持了众多的CSS3属性,但是大部分设计师和开发人员貌似依然在关注于一些很“主流”的属性,如border-radius.box-shadow或者transform等.它们有良好的文档.很好的测试并且最常用到,所以如果你最近在设计网站,你很难能脱离它们. 但是,隐藏在浏览器的大宝库中是一些高级的.被严重低估的属性,但是它们并没有得到太多的关注.或许它们中的一些应该这样(被无视),但是其它的属性应该得到更多的认可.最伟大的财富隐藏在Webkit的下面,而且在iPhone.iPad和

六 面向对象高级属性

一 isinstance(obj,cls)和issubclass(sub,super) 二 反射 三 __setattr__,__delattr__,__getattr__ 四 二次加工标准类型(包装) 五 __getattribute__ 六 描述符(__get__,__set__,__delete__) 六 再看property 七 __setitem__,__getitem,__delitem__ 八 __str__,__repr__,__format__ 九 __slots__ 十 __

《深入理解Java虚拟机:JVM高级属性与最佳实践》读书笔记(更新中)

第一章:走进Java 概述 Java技术体系 Java发展史 Java虚拟机发展史 1996年 JDK1.0,出现Sun Classic VM HotSpot VM, 它是 Sun JDK 和 OpenJDK 中所带的虚拟机,最初并不是Sun开发 Sun Mobile- Embedded VM/ Meta- Circular VM BEA JRockit/ IBM J9 VM JRockit曾号称世界上最快的java虚拟机,BEA公司发布.J9属于IBM主要扶持的虚拟机 Azul VM/ BEA