storm UI

Storm UI

          ——本文主要解释下storm ui上各项属性的含义。

通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。

1. mainpage

首页主要分为3块:

a. Cluster Summary

version:storm版本

  Nimbus uptime: nimbus的启动时间

Supervisors: storm集群中supervisor的数目

used slots: 使用了的slots数

free slots: 剩余的slots数

total slots: 总的slots数

  executors:运行的线程数

tasks: 运行的任务数

b. topology summary

Name: 运行的topology 名称

id: topology id (由storm生成)

status: topology的状态,包括(ACTIVE, INACTIVE, KILLED, REBALANCING)

uptime: topology运行的时间

num workers: 运行的workers数

num executors:运行的线程数

num tasks: 运行的任务数

c. supervisor summary

id:supervisor id

  host: supervisor(主机)的主机名

uptime: supervisor启动的时间

slots: supervisor的端口数

used slots: 使用的端口数

 d. nimbus configuration

......

点击对应的运行的topology名称即可进入Topology页面

2. topologypage

topology页面主要包括4个部分

a. topology summary(同主页)

b. topology stats

window: 时间窗口,显示10m、3h、1d和all time的运行状况

emitted: emitted tuple数

transferred: transferred tuple数, 说下与emitted的区别:如果一个task,emitted一个tuple到2个task中,则transferred tuple数是emitted tuple数的两倍

complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间

acked: ack tuple数

failed: 失败的tuple数

c. spouts

id: spout id

parallelism: 任务数

last error: 最近的错误数,只显示最近的前200个错误

emitted, transferred, complete latency, acked和failed同上

d. bolts

process latency:   bolt收到一个tuple到bolt ack这个tuple的平均时间

其他参数同上

还有componentpage和taskpage, 参数的解释同上。

taskpage中的Component指的是spoutid 或者 boltid, time指的是错误发生的时间,error是指错误的具体内容。

附注其中的一些名词解释:

task:一个“task”指的是负责运行spout和bolt代码逻辑的单独一个线程。

worker:一个“worker”指的是负责向多个task投递消息的网络监听程序(独立的进程),每“worker”代理的“task”由其自身在初始化时候创建。

task与executor的关系问题:在storm的学习过程中,有许多人问到task与executor的关系问题。在我们安装配置storm的时候,不知大家是否主要到了一个问题,就是我们在配置的时候会加几个worker的端口(supervisor.slots.ports:),比如众多文档中提到的6700/6701等等类似的东西。没错,这就是我们定义了该supervisor最多的worker数,worker中执行一个bolt或者spout线程,我们就称之为task,而executor是物理上的线程概念,我们可以将其称为执行线程;而task更多是逻辑概念上的,有时候bolt与spout的task会共用一个executor,特别是在系统负荷比较高的时候。

具体参考:storm源码之理解Storm中Worker、Executor、Task关系

时间: 2024-10-03 05:58:53

storm UI的相关文章

屏蔽storm ui的kill功能

今天有个storm的topology被人kill掉了,但是找不到是谁做的,storm的ui有kill topology的功能,但是没有权限验证,这样就导致知道ui地址的任何人都可以kill掉topology,比较危险,考虑把这个action disable掉. 有两种方法: 1.前端增加nginx,做location 分析ui页面,对应kill的button,html中的action为: <input enabled="" onclick="confirmAction(

Storm ui 显示异常

今天安装storm集群的时候,各个进程也都起来,却发现Storm ui界面下无法观察Storm集群的状态 有很多地方处理不当都会造成这种现象: 1.storm.yaml配置不当 2.防火墙的问题 3.启动顺序的问题 启动nimbus后台运行:bin/storm nimbus < /dev/null 2<&1 & 启动supervisor后台运行:bin/storm supervisor < /dev/null 2<&1 & 启动ui后台运行:bin/

Storm笔记整理(五):可靠性分析、定时任务与Storm UI参数详解

[TOC] 特别说明:前面的四篇Storm笔记中,关于计算总和的例子中的spout,使用了死循环的逻辑,实际上这样做是不正确的,原因很简单,Storm提供给我们的API中,nextTuple方法就是循环执行了,这相当于是做了双层循环.因为后面在做可靠性acker案例分析时发现,加入死循环逻辑后,该nextTuple所属于的那个task根本就没有办法跳出这个nextTuple方法,也就没有办法执行后面的ack或者是fail方法,这点尤其需要注意. Storm可靠性分析 基本原理 worker进程死

storm ui显示supervisor个数与实际不符的解决

现象:启动了多个supervisor,单在ui上只显示一个 解决方法:清空"storm.local.dir"对应的目录中的内容,或者重新指定一个目录,如: #strom local dir          storm.local.dir: "/var/wd/storm"

Storm入门学习随记

推荐慕课网视频:http://www.imooc.com/video/10055 ====Storm的起源. Storm是开源的.分布式.流式计算系统 什么是分布式呢?就是将一个任务拆解给多个计算机去执行,让许多机器共通完成同一个任务, 把这个多机的细节给屏蔽,对外提供同一个接口.同一个服务,这样的系统就是分布式系统. 在多年以前并没有非常范用的分布式系统,即使存在,也都是限定在指定的领域, 当然,也有人尝试从中提取出共通的部分,发明一个通用的分布式系统,但是都没有很好的结果. 后来,Googl

storm

大数据技术交流群 :494721467 安装storm ------------------- 1.准备 jdk + zookeeper 2.storm安装 下载apache-storm-1.0.1.tar.gz + apache-storm-1.0.1.-src-tar.gz 3.tar 4.移动文件 $>mv /soft/.. 5.配置环境变量 [/etc/environment] path STORM_HOME= 6.配置storm [conf/yaml] storm.zookeeper.

storm在Ubuntu环境下的单机部署

目录 查看Ubuntu 安装JDK 安装Pythod 安装Zookeeper 安装ZeroMQ 安装Jzmp 安装Storm 查看Ubuntu是32位还是64 uname -a 返回结果 ==> SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux,可知Ubuntu为64位  安装JDK #下载64位的JDK wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15

storm安装

0安装JDK wget --no-check-certificate --no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.rpm 使用rpm -ivh jdk-8u45-linux-x64.rpm进行安装 检查安装Javac 1:centOS安装Zer

Storm实时日志分析实战

项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表.我们采用了Kafka+Storm+Zookeeper的解决方案.之前没有接触过,经过一段时间的研究,最终完成了项目.接下来的内容我将介绍我们的解决方案.供大家参考.我们的系统结构如下: 总体结构介绍 业务系统把点击/浏览广告业务日志统一按规定的格式发送到Kafka集群中,不同的业务日志可以分别发送给Kafka不同的主题.Storm集群中运行了我们的实时统计拓扑,该统计拓扑分别从K