Storm storm API（二）

　　1、Spout

　　Spout最顶层抽象是ISpout接口。

　　　Open()是初始化方法

　　　nextTuple()循环发射数据　　

　　 ack()成功处理tuple回调方法

　　 fail()处理失败tuple回调方法

　　 activate和deactivate：spout可以被暂时激活和关闭

　　　close方法在该spout关闭前执行，但是并不能得到保证其一定被执行，kill -9 时不执行，Storm kill topoName时执行，如图：

原文地址：https://www.cnblogs.com/houstao/p/11473880.html

时间： 2024-10-17 20:13:17

Storm storm API（二）的相关文章

Civil 3D API二次开发学习指南

Civil 3D构建于AutoCAD 和 Map 3D之上,在学习Civil 3D API二次开发之前,您至少需要了解AutoCAD API的二次开发,你可以参考AutoCAD .NET API二次开发学习指南.另外,如果你用到Map 3D相关的功能,你还可能需要Map 3D的开发知识,看Map 3D API二次开发学习指南. 软件准备及开发环境 AutoCAD Civil 3D 软件,推荐2014以上版本,你可以从Autodesk 官方网站下载试用版, Visual Studio 2012 或

常用API二

常用API二一.Object 成员方法: 1.toString(): 重写前,调用object类中的,打印的是全类名@16进制的地址值 . 重写后打印具体对象的值 2.equals():重写前比较的是地址值重写后打印的是具体属性值 3.获取字节码对象3种方式(三个获取的值相等) A:通过Object类中getClass()方法调用,Teacher t = new Teacher();t.getclass(); B:类名点调用 Teacher.class(); C:通过Class类的静态方法fo

k8s python api二次封装例子

k8s python api二次封装 pip install pprint kubernetes import urllib3 from pprint import pprint from kubernetes import client from os import path import yaml class K8sApi(object): def __init__(self): # self.config = config.kube_config.load_kube_config() ur

Storm专题二：Storm Trident API 使用详解

一.概述 Storm Trident中的核心数据模型就是"Stream",也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算,具体如下图所示: 在Trident中有五种操作类型: Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输 Repartitioning:数据流重定向,单纯

Storm Trident API 实践

一.概要 1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架. 具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data).通过Storm对消息进行计算聚合等预处理.把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析. 1.2 Trident(简介) Trident是对Storm的更高一层的抽象,除了提供一套简单易用的流数据处理API之外,它以batch(一组tuples)

Storm 系列（二）—— Storm 核心概念详解

一.Storm核心概念 1.1 Topologies(拓扑) 一个完整的 Storm 流处理程序被称为 Storm topology(拓扑).它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将主动其杀死 (kill) 为止. 1.2 Streams(流) Stream 是 Storm 中的核心概念.一个 Stream 是一个无界的.以分布式方式并行创建和处理的

安装配置storm 第二步配置Storm集群(二)

1.编辑host文件 vi /etc/hosts 三台主机同时修改 192.168.2.20 storm01 192.168.2.21 storm02 192.168.2.22 storm03 2.主节点上(storm)配置storm (1)解压 apache-storm-1.0.3 (2)设置环境变量 : vi ~/.bash_profile STORM_HOME=/usr/local/apps/apache-storm-1.0.3 export STORM_HOME PATH=$ST

Storm详解二、写第一个Storm应用

在全面介绍Storm之前,我们先通过一个简单的Demo让大家整体感受一下什么是Storm. Storm运行模式: 本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发.调试. 远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都是线程安全的,因为它们都会运行在不同的Jvm或物理机器上,这个模式就是正式的生产模式. 写一个HelloWor

Twitter Storm学习之二-基本概念介绍

2.1 Storm基本概念在运行一个Storm任务之前,需要了解一些概念: Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似.但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(topology),这两者之间是非常不一样的.一个关键的区别是: 一个MapReduce job最终会结束,