纪念storm终于启动了！！！

storm绝对是我见过最难启动的集群，没有之一！从安装 zeromq jzmq错误，到zookeeper集群启动错误，磕磕绊绊，耗费我2天（下班后开始计算），今天终于搞定了，纪念下！

下面是启动storm nimbus时的错误，不知道为什么出这个错误，查看lib文件下，有jar包，百度啊 谷歌啊都搜索了就是没有找到，最后只能去翻阅jar包结构，并没有发现这个路径下的类，于是搜索这个jar包，但是网上也没有！

偶然看到比人的配置文件 配置的class都是以backtype.storm开头，恍然觉得和别人的不一样！然后回头翻找jar包的目录结构是，果然找到了类！于是才想起原因：我的storm一开始是从github clone下来的，在那份配置文件中修改完，提示不让启动，必须是release版本才可以，后来又花了3个小时，才下载到0.9.6版本（别问为什么那么长时间，夜晚访问apache就是那么慢），然后直接那master版本的default.yaml替换了，所以就出错了！

java.lang.ClassNotFoundException: org.apache.storm.nimbus.DefaultTopologyValidator
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381) ~[na:1.8.0_73]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_73]
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) ~[na:1.8.0_73]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_73]
        at java.lang.Class.forName0(Native Method) ~[na:1.8.0_73]
        at java.lang.Class.forName(Class.java:264) ~[na:1.8.0_73]
        at backtype.storm.util$new_instance.invoke(util.clj:946) ~[storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$nimbus_data.invoke(nimbus.clj:73) ~[storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$fn__4261$exec_fn__1104__auto____4262.invoke(nimbus.clj:898) ~[storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.AFn.applyToHelper(AFn.java:163) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        at clojure.core$apply.invoke(core.clj:617) ~[clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus$fn__4261$service_handler__4351.doInvoke(nimbus.clj:895) [storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.RestFn.invoke(RestFn.java:421) [clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus$launch_server_BANG_.invoke(nimbus.clj:1152) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$_launch.invoke(nimbus.clj:1184) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$_main.invoke(nimbus.clj:1206) [storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.AFn.applyToHelper(AFn.java:159) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus.main(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
2016-02-25T22:06:59.435+0800 b.s.util [ERROR] Halting process: ("Error on initialization")
java.lang.RuntimeException: ("Error on initialization")
        at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:325) [storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus$fn__4261$service_handler__4351.doInvoke(nimbus.clj:895) [storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.RestFn.invoke(RestFn.java:421) [clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus$launch_server_BANG_.invoke(nimbus.clj:1152) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$_launch.invoke(nimbus.clj:1184) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.daemon.nimbus$_main.invoke(nimbus.clj:1206) [storm-core-0.9.6.jar:0.9.6]
        at clojure.lang.AFn.applyToHelper(AFn.java:159) [clojure-1.5.1.jar:na]
        at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
        at backtype.storm.daemon.nimbus.main(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
2016-02-25T22:49:55.874+0800 b.s.u.Utils [ERROR] Failed to construct serialization delegate, falling back to default
java.lang.ClassNotFoundException: org.apache.storm.serialization.GzipThriftSerializationDelegate
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381) ~[na:1.8.0_73]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_73]
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) ~[na:1.8.0_73]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_73]
        at java.lang.Class.forName0(Native Method) [na:1.8.0_73]
        at java.lang.Class.forName(Class.java:264) [na:1.8.0_73]
        at backtype.storm.utils.Utils.getSerializationDelegate(Utils.java:431) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.utils.Utils.<clinit>(Utils.java:72) [storm-core-0.9.6.jar:0.9.6]
        at java.lang.Class.forName0(Native Method) [na:1.8.0_73]
        at java.lang.Class.forName(Class.java:264) [na:1.8.0_73]
        at backtype.storm.util$loading__4910__auto__.invoke(util.clj:17) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.util__init.load(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.util__init.<clinit>(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
        at java.lang.Class.forName0(Native Method) [na:1.8.0_73]
        at java.lang.Class.forName(Class.java:348) [na:1.8.0_73]
        at clojure.lang.RT.loadClassForName(RT.java:2098) [clojure-1.5.1.jar:na]
        at clojure.lang.RT.load(RT.java:430) [clojure-1.5.1.jar:na]
        at clojure.lang.RT.load(RT.java:411) [clojure-1.5.1.jar:na]
        at clojure.core$load$fn__5018.invoke(core.clj:5530) [clojure-1.5.1.jar:na]
        at clojure.core$load.doInvoke(core.clj:5529) [clojure-1.5.1.jar:na]
        at clojure.lang.RestFn.invoke(RestFn.java:408) [clojure-1.5.1.jar:na]
        at clojure.core$load_one.invoke(core.clj:5336) [clojure-1.5.1.jar:na]
        at clojure.core$load_lib$fn__4967.invoke(core.clj:5375) [clojure-1.5.1.jar:na]
        at clojure.core$load_lib.doInvoke(core.clj:5374) [clojure-1.5.1.jar:na]
        at clojure.lang.RestFn.applyTo(RestFn.java:142) [clojure-1.5.1.jar:na]
        at clojure.core$apply.invoke(core.clj:619) [clojure-1.5.1.jar:na]
        at clojure.core$load_libs.doInvoke(core.clj:5417) [clojure-1.5.1.jar:na]
        at clojure.lang.RestFn.applyTo(RestFn.java:137) [clojure-1.5.1.jar:na]
        at clojure.core$apply.invoke(core.clj:621) [clojure-1.5.1.jar:na]
        at clojure.core$use.doInvoke(core.clj:5507) [clojure-1.5.1.jar:na]
        at clojure.lang.RestFn.invoke(RestFn.java:408) [clojure-1.5.1.jar:na]
        at backtype.storm.scheduler.DefaultScheduler$loading__4910__auto__.invoke(DefaultScheduler.clj:16) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.scheduler.DefaultScheduler__init.load(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
        at backtype.storm.scheduler.DefaultScheduler__init.<clinit>(Unknown Source) [storm-core-0.9.6.jar:0.9.6]
        at java.lang.Class.forName0(Native Method) [na:1.8.0_73]
        at java.lang.Class.forName(Class.java:348) [na:1.8.0_73]
        at clojure.lang.RT.loadClassForName(RT.java:2098) [clojure-1.5.1.jar:na]
        at clojure.lang.RT.load(RT.java:430) [clojure-1.5.1.jar:na]
        at clojure.lang.RT.load(RT.java:411) [clojure-1.5.1.jar:na]
        at clojure.core$load$fn__5018.invoke(core.clj:5530) [clojure-1.5.1.jar:na]
        at clojure.core$load.doInvoke(core.clj:5529) [clojure-1.5.1.jar:na]
        at clojure.lang.RestFn.invoke(RestFn.java:408) [clojure-1.5.1.jar:na]
时间： 2024-12-14 18:10:05

纪念storm终于启动了！！！的相关文章

storm supervisor启动报错java.lang.RuntimeException: java.io.EOFException

storm因机器断电或其他异常导致的supervisor意外终止,再次启动时报错: 1. 2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting supervisor with id 74332654-8925-48a1-b67b-7eacaa52aeca at host hadoop02 2. 2013-09-24 09:15:45,246 ERROR [Thread

storm：防火墙引起启动nimbus失败

部署好storm,启动nimbus失败,查看日志,出现如下报错信息: [[email protected] logs]# tail -1000 nimbus.log 2018-03-12 11:05:12.385 o.a.s.d.nimbus main [INFO] Starting Nimbus with conf {"topology.builtin.metrics.bucket.size.secs" 60, "nimbus.childopts" "-

Storm简述及集群安装

Storm 集群类似于一个 Hadoop 集群.然而你在 Hadoop 的执行"MapReduce job", 在storm 上你执行 "topologies (不好翻译)"."job"和"topologies "本身有非常 大的不同,一个关键的差别是,MapReduce 的工作终于完毕,而 topologies 处理消息 永远保持(或直到你杀了它) . Strom 集群有主要有两类节点:主节点和工作节点. 主节点上执行一个叫

ubuntu10.04安装配置storm时遇到的问题及解决（单机）

参考<CentOS6.4下Storm0.9.2单机版安装>的步骤在ubuntu上安装storm,中间遇到一些问题记录一下. 参考文章链接:http://blog.csdn.net/qiyating0808/article/details/36041299 我的linux环境:ubuntu-10.04.4-desktop-i386 一,安装zeromq.jzmq及zookeeper时比较顺利,略过. zeromq-4.0.4.tar.gz zookeeper-3.4.6.tar.gz 安装过程可

Storm入门学习随记

推荐慕课网视频:http://www.imooc.com/video/10055 ====Storm的起源. Storm是开源的.分布式.流式计算系统 什么是分布式呢?就是将一个任务拆解给多个计算机去执行,让许多机器共通完成同一个任务, 把这个多机的细节给屏蔽,对外提供同一个接口.同一个服务,这样的系统就是分布式系统. 在多年以前并没有非常范用的分布式系统,即使存在,也都是限定在指定的领域, 当然,也有人尝试从中提取出共通的部分,发明一个通用的分布式系统,但是都没有很好的结果. 后来,Googl

storm安装

0安装JDK wget --no-check-certificate --no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.rpm 使用rpm -ivh jdk-8u45-linux-x64.rpm进行安装 检查安装Javac 1:centOS安装Zer

Storm实时日志分析实战

项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表.我们采用了Kafka+Storm+Zookeeper的解决方案.之前没有接触过,经过一段时间的研究,最终完成了项目.接下来的内容我将介绍我们的解决方案.供大家参考.我们的系统结构如下: 总体结构介绍 业务系统把点击/浏览广告业务日志统一按规定的格式发送到Kafka集群中,不同的业务日志可以分别发送给Kafka不同的主题.Storm集群中运行了我们的实时统计拓扑,该统计拓扑分别从K

Centos6.5 storm单机安装

Centos6.5 storm单机安装 本篇幅讲述Twitter Storm安装配置,也作为自己的笔记. storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster storm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样. 要使用storm首先要安装以下工具: python.zookeeper.zeromq.jzmq.storm 第一步,安装Python2.7.2 wget

Mac安装 Storm 小结

Strom 安装&部署 本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果). 本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径, 权限等), 像是真正的将Topology提交到生产集群一样. Storm 相关网站: 并发编程网-Storm, 官网St