stormconf.ser does not exist

storm 测试集群上一个supervisor 挂掉，查看日志发现：

java.io.FileNotFoundException: File ‘/home/q/storm/storm-data/supervisor/stormdist/Track_NotFind-66-1372059953/stormconf.ser‘ does not exist
at org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:137)
at org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java:1135)

……

重启依然会出错，导致重启不了

到网上查了一下，发现是storm本身的bug。

Re: [storm-user] Re: Storm 0.8.2 - stormconf.ser does not exist

Hi Michael,

I believe I‘ve now fixed this bug. Try out 0.9.0-wip16 and let me know how it goes. Alternatively you can apply this patch to 0.8.2 and build your own release with only this change:

https://github.com/nathanmarz/storm/commit/414af600ab08c4cdd7cefc0205ac95036af64c1e

Let me know how it goes.

目前我所使用的是 0.8.1 版本，storm的作者说在 0.9.0-wip16 这个版本修改了这个bug

可以手动解决：

将 { storm.local.dir } 目录下的文件清空，重启就好了。

时间： 2024-10-17 13:58:17

stormconf.ser does not exist的相关文章

Storm java.io.FileNotFoundException: File '../stormconf.ser' does not exist

This bug will kill supervisors Affects Version/s: 0.9.2-incubating, 0.9.3, 0.9.4 Fix Version/s: 0.10.0, 0.9.5 问题背景最近发现刚搭起的Storm集群,没过多久,Supervisor 便悄然死去了一大半.查看死去Supervisor的log,发现java.io.FileNotFoundException: File '../stormconf.ser' does not exist异常.

Storm实战常见问题及解决方案

文档说明该文档包涵了storm实战中经常遇到一些问题,及对应解决方案.这个文档是群里一个朋友在学习storm,并实战storm中遇到的一些问题,及和群里其他朋友一起交流给出的对应解决方案,并由他整理好,委托我发布出来(也算是交流者之一),供大家参考,希望能对大家有所帮助. 感谢某某(哈哈鉴于部分原因,不便透露名字~~~~!)… 问题锦集 1 关于Storm集群 1.1 关于storm集群的环境变量配置问题安装好JDK后,需要配置环境变量,通常情况下出于经验,我们往往会修改/etc/pro

转载文档：Storm实战常见问题及解决方案

该文档为实实在在的原创文档,转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题,及其对应解决办法. 相关描述 ² 其他相关文档请参考新浪博客http://blog.sina.com.cn/huangchongyuan ² 有任何其他想法,可以邮件[email protected] ² 文档及相关资料下载请个人360云盘http://yunpan.

storm启动supervisor源码分析-supervisor.clj

supervisor是storm集群重要组成部分,supervisor主要负责管理各个"工作节点".supervisor与zookeeper进行通信,通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配.我们可以通用执行bin/storm supervisor >/dev/null 2>&1 &来启动supervisor.bin/storm是一个python脚本,在这个脚本中定义了一个superv

Storm介绍及与Spark Streaming对比

1 Storm介绍 Storm是由Twitter开源的分布式.高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求.Storm常用于在实时分析.在线机器学习.持续计算.分布式远程调用和ETL等领域. 在Storm的集群里面有两种节点:控制节点(Master Node)和工作节点(Worker Node).控制节点上面运行一个名为Nimbus的进程,它用于资源分配和状态监控:每个工作节点上面运行一个Supervisor的进程,它会监听分配给它所在机

[转]JStorm之Nimbus简介

一.简介 JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Supervisor).其分别对应的角色如下:1. 主控节点(Nimbus)上运行Nimbus Daemon.Nimbus负责接收Client提交的Topology,分发代码,分配任务给工作节点,监控集群中运行任务的状态等工作.Nimbus作用类似于Hadoop中JobTracker.2. 工作节点(Supervisor)上运行Supervisor Daemon.Supervisor通过subscribe Zookeep

Storm概念讲解和工作原理介绍

Strom的结构 Storm与传统关系型数据库传统关系型数据库是先存后计算,而storm则是先算后存,甚至不存传统关系型数据库很难部署实时计算,只能部署定时任务统计分析窗口数据关系型数据库重视事务,并发控制,相对来说Storm比较简陋 Storm不Hadoop,Spark等是流行的大数据方案与Storm关系密切的语言:核心代码用clojure书写,实用程序用python开发,使用java开发拓扑 topology Storm集群中有两种节点,一种是控制节点(Nimbus节点),另一种是工

2017.4.5 Strom

Strom是分布式实时计算系统,它对于实时计算的意义类似于hadoop对于批处理的意义.与Storm关系密切的语言:核心代码用clojure书写,实用程序用python开发,使用java开发拓扑. Storm的适用场景 1.流数据处理.Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去. 2.分布式rpc.由于storm的处理组件是分布式的,而且处理延迟极低,所以可以作为一个通用的分布式rpc框架来使用.当然,其实我们的搜索引擎本身也是一个分布式rpc系统. 下图为A

supervisor启动worker源码分析-worker.clj

supervisor通过调用sync-processes函数来启动worker,关于sync-processes函数的详细分析请参见"storm启动supervisor源码分析-supervisor.clj".sync-processes函数代码片段如下: sync-processes函数代码片段 ;; sync-processes函数用于管理workers, 比如处理不正常的worker或dead worker, 并创建新的workers;; supervisor标识supervis