storm文档(10)----容错

源地址:http://storm.apache.org/documentation/Fault-tolerance.html

本文主要介绍Storm作为容错系统的设计细节。

当worker死掉时会发生什么?

当worker死掉时, supervisor将重启它。 如果worker启动总是失败,则worker就不能发送心跳消息给Nimbus, 那Nimbus就会重新在另一台machine上启动它。

当node死掉时会发生什么?

分配到这个节点的所有tasks都会超时,那Nimbus会将这些tasks重新分配到另外的机子上。

当Nimbus或者Supervisor daemons死掉时会发生什么?

Nimbus和Supervisor daemons都是设计为快速失败的(任何意外状况发生时都可能导致进程自身崩溃)以及无状态的(所有的状态都是保存在Zookeeper或者Disk上)就像在配置storm集群中描述的一样, Nimbus和Supervisor daemons必须运行在监控之下,这个监控是使用诸如daemontools或者monit等工具实现的。因此,如果Nimbus或者Supervisor daemons死掉的话, 他们会像什么都没发生一样再次重启。

最需要指出的是, 没有worker进程会受到Nimbus或者Supervisors死掉的影响。 而相比之下,对Hadoop来说, 如果JobTracker死掉的话, 所有运行的jobs都会丢失。

Nimbus是否会出现单独失败的状况?

如果Nimbus 节点死掉的话, worker依然会运行下去。另外, supervisors在它们死掉的时候依然会重启。尽管如此, 没有Nimbus, worker 在需要时(比如worker所在机器宕机时)不会重新分配到其他机器上。

因此,答案就是Nimbus是某种单一故障点。实际中,Nimbus daemon死掉时, 也不是什么大事,因为不会发生什么灾难性的事情。未来还有一些计划用来提交Nimbus可用性。

Storm怎样保证数据处理?

Storm提供保证数据处理的机制, 即使节点死掉或者丢失消息时也可以保证。更多细节可以查看   保证消息处理机制

时间: 2024-11-05 13:07:49

storm文档(10)----容错的相关文章

Android官方入门文档[10]支持不同的屏幕

Android官方入门文档[10]支持不同的屏幕 Supporting Different Screens支持不同的屏幕 This lesson teaches you to1.Create Different Layouts2.Create Different Bitmaps You should also read?Designing for Multiple Screens?Providing Resources?Iconography design guide 这节课教你1.创建不同的布

storm 文档(3)----入门指导

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41517897 源地址:http://storm.apache.org/documentation/Tutorial.html 本文主要讲述了如何创建Storm topologies以及如何将它们部署在Storm集群中.Java是主要使用的语言,但是依然使用少量Python例子证明了Storm的多语言特性. 初步配置: 本文使用的例子源自storm-start项目.建议你复制这个

storm文档(6)----storm手册目录

源地址:http://storm.apache.org/documentation/Documentation.html storm基础知识 l  Javadoc l  概念 l  配置 l  保证消息处理机制 l  容错性能 l  命令行客户端 l  理解storm topology并行机制 l  FAQ trident 对storm来说,trident是可选接口.它提供了准确的一次性处理.事务性数据存储保持以及一系列通用数据流分析操作. l  Trident指导-----基本概念及浏览 l 

storm文档(9)----消息处理保证机制

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41577125 源地址:http://storm.apache.org/documentation/Guaranteeing-message-processing.html Storm保证:每条离开spout的消息都可以得到"fullyprocessed".本文描述了storm如何实现这种保证以及你如何能够从Storm这种可靠性能力中受益. "fully pr

storm文档(12)----自己搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41802543 ubuntu下  storm  安装步骤 安装storm之前首先需要安装一些依赖库: zookeeper.JDK 6.python2.6.6.jzmq.zeromq 这些库所需要的依赖库不再一一笔述. 以下为具体安装过程: 一.安装JDK zookeeper要求安装JDK 6或更高版本( 目前最新稳定版本为JDK8), 但是由于storm要求安装JDK 6, 因此

storm文档(5)----创建storm新项目

源地址:http://storm.apache.org/documentation/Creating-a-new-Storm-project.html 本文主要介绍如何配置开发的storm项目.步骤如下: 1.将storm jar包加到classpath中 2.如果使用多语言特性,将多语言实现的目录加到classpath中 下面跟着一块看一下在Eclipse环境中如何配置storm-starter项目. 将Storm jars包加到classpath中 你需要将storm jars包加到你的cl

storm文档(8)----配置文件说明

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41547569 源地址:http://storm.apache.org/documentation/Configuration.html storm由丰富的configure选项, 用来调整nibus.supervisor.以及运行时topologies的行为.某些配置选项是系统配置,例如topology基础配置,修改某个topology的这些选项有可能影响到所有topologi

Storm文档详解

1.Storm基础概念 1.1.什么是storm? Apache Storm is a free and open source distributed realtime computation system. Storm是免费开源的分布式实时计算系统 实时和离线的区别: 1 离线计算:批量获取数据.批量传输数据.周期性批量计算数据.数据展示 代表技术:Sqoop批量导入数据.HDFS批量存储数据.MapReduce批量计算数据.Hive批量计算数据.***任务调度 2 流式计算:数据实时产生.

storm文档(11)----搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41684717 源地址:http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 本文叙述了storm集群搭建和运行步骤.如果你打算在AWS上进行的话,可以使用storm-deploy项目.storm-deploy在EC2上完全自动进行下载.配置.以及storm集群的安装等步骤.它也为你配置了Gan