关于storm群集容错概念的简单介绍

1、当一个worker死掉会发生什么?

当一个worker死掉,那么supervisor会重新启动这个worker。如果它总是启动失败将不能发送心跳到nimbus,那么nimbus将把这个worker分配到另一台机器上。

2、当一个节点死掉将会发生什么?

分配给这台机器的任务将会超时,那么nimbus将会把任务重新分配到其他机器。

3、当Nimbus或者Supervisor实例死掉会发生什么?

Nimbus和Supervisor被设计成快速失败的(当发生任何意外情况时进程将自己结束)和无状态的(所有的状态都存在zookeeper里或者磁盘上)。当启动一个storm群集时,Nimbus和Supervisor进程将使用进程工具或监视工具来运行一个守护进程。因此,当Nimbus和Supervisor进程死掉时,守护进程会重启它们就像什么都没发生过。

值得注意的是,没有worker会受到Nimbus和Supervisor死掉的影响,相对于hadoop,如果JobTracker死掉。所有运行中的job将会丢失。

4、nimbus是一个单点故障?

如果丢失了nimbus节点,worker将会继续运行程序,另外,supervisors 将会继续重启失败的worker。但是,如果一直没有nimbus,当需要的时候worker将不能被分配给其他机器(例如有一台worker机器丢失的情况)。

因此,答案是nimbus近乎是一个单点故障,在实践中,这并不是一个大问题,当nimbus节点丢失时,并不会有什么灾难发生。我们有计划在未来提高nimbus的高可用性。

5、storm如何保证数据的处理的?

storm提供了一种机制保证即使节点死掉或者消息丢失数据依然能继续处理。(应该是数据的重放机制)

时间: 2024-10-20 07:15:47

关于storm群集容错概念的简单介绍的相关文章

LDAP服务器的概念和原理简单介绍

LDAP服务器的概念和原理简单介绍 LDAP和JNDI关系

简单介绍一下ODI的几个基本概念

简单介绍一下ODI的几个基本概念 ODI的几个基本概念是本文我们主要要介绍的内容,接下来我们就开始介绍这一过程,一起来看看吧! 什么是资料库 ODI资料库可安装在任何支持ANSIISO89的数据库中.资料库分两种: 1.MasterRepository,保存企业所有IT资源的Topology,保存项目和数据模型的安全信息.版本信息,供ODI图形模块等使用.通常创建一个即可.MasterRepository要尽可能独立存储,单独的Instance,或单独的Schema. 2.WorkReposit

设计模式的学习(一)-软件设计模式的概念与意义以及23种设计模式的简单介绍

有关软件设计模式的定义有很多,有些是从模式的作用出发,也写是根据模式的特点,本文根据大多数教材定义,从以下两个方面来说明. 软件模式的概念.软件设计模式(Software Design Pattern),又称设计模式,是一套被反复使用,多数人知晓,经过分类编目.代码设计经验的总结.它描述了在软件设计过程中的一些不断重复发生的问题,以及对该问题的解决方案.也就是说,它是解决特定问题的一系列套路,是前辈们代码设计经验的总结,具有一定的普遍性,可以反复使用.目的是为了提高代码的可重用性,代码的可读性和

Elasticsearch系统学习(一)-elasticsearch简单介绍和核心概念

一.ES简单介绍 1.1.es功能 (1)分布式的搜索引擎和数据分析引擎 搜索:百度,网站的站内搜索,IT系统的检索 数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些:新闻网站,最近1个月访问量排名前3的新闻版块是哪些 分布式,搜索,数据分析 (2)全文检索,结构化检索,数据分析 全文检索:我想搜索商品名称包含牙膏的商品,select * from products where product_name like "%牙膏%" 结构化检索:我想搜索商品分类为日化用品的

漫游Kafka入门篇之简单介绍

原文地址:http://blog.csdn.net/honglei915/article/details/37564521 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳. 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行,

openstack架构简单介绍J版(更新中)

title : OPENSTACK架构简单介绍 openstack的发展及历史 openstack是什么? OpenStack是一个美国国家航空航天局和Rackspace合作研发的云端运算?软件,以Apache许可证授权.而且是一个自由软件和开放源码项目. 通俗点来讲,openstack就是一个用python编写的linux软件,openstack是一个开源云平台. openstack能干嘛? openstack最基础的功能就是产生云主机(vm虚拟机).用这些虚拟机能够做你想做的非常多事.比如产

Python常用的库简单介绍一下

Python常用的库简单介绍一下fuzzywuzzy ,字符串模糊匹配. esmre ,正则表达式的加速器. colorama 主要用来给文本添加各种颜色,并且非常简单易用. Prettytable 主要用于在终端或浏览器端构建格式化的输出. difflib ,[Python]标准库,计算文本差异 . Levenshtein ,快速计算字符串相似度. Chardet 字符编码探测器,可以自动检测文本.网页.xml的编码. shortuuid ,一组简洁URL/UUID函数库. ftfy ,Uni

plsql的环境与介绍:环境的搭建和plsql的简单介绍

PLSQL编程 1.环境的搭建 (1)创建一个存储表空间 SQL> conn /as sysdbaConnected. SQL> create tablespace plsql datafile '/u01/oracle/oradata/ORCL/plsql01.dbf' size 1G; Tablespace created. (2)创建PLSQL用户SQL> create user plsql identified by plsql default tablespace plsql;

七、变量与常量的简单介绍

七.变量与常量的简单介绍 本文将介绍VB语言中的变量与常量. 基本概念 首先大家要明白变量和常量是很重要的东西,因为他们储存着程序运行中的各种数据.顾名思义,变量就是可以变的量,而常量就是不变的,这个概念和数学上的有点接近. 接下来我简单讲讲这两个重要的东西:计算机程序在不运行的时候,程序文件保存在硬盘上,当用户运行程序之后,系统就会把程序文件装进计算机的内存里面,无论在硬盘中还是内存中,程序数据都是以二进制的形式保存着的.当程序在运行的时候,可以把计算机的内存理解为一个超级大的棋盘,每个格子都