storm on yarn(CDH5) 部署笔记

按照storm on yarn(Apache hadoop)部署好之后，然后修改HADOOP_HOME,hadoopenv.sh中的JAVA_HOME,以及storm-yarn-master中pom.xml的hadoop version

启动顺序依次为：

hdfs：start-dfs.sh

yarn:start-yarn.sh

zookeeper:zkServer.sh start

storm

nimbus:storm nimbus

UI：storm ui   #localhost:8080

supervisor:storm supervisor    如果有从节点的话

提交storm任务：

　　storm-yarn launch storm.yaml

存储storm.yaml文件到.storm，这样使用storm命令提交jobs时，会找到该文件  ---我的这一步出错，但是在apache hadoop下成功了

　　storm-yarn getStormConfig -appId application_1381089732797_0025 -output ~/.storm/storm.yaml

提交Topology

　　storm jar lib/storm-starter-0.0.1-SNAPSHOT.jar storm.starter.WordCountTopology WordCountTopology -c nimbus.host=<your nimbus host>

监控Topology

　　查看Storm ui，地址是：http://<your nimbus host>:8080

关闭Topology

　　storm kill [Topology_name]

关闭Storm on yarn集群

　　storm-yarn shutdown –appId [applicationId]

致谢：http://blog.csdn.net/m_vptr/article/details/9962613

错误：15/07/19 00:31:46 INFO yarn.StormOnYarn: application report for application_1437236195968_0001 :N/A:-1
15/07/19 00:31:46 INFO yarn.StormOnYarn: Attaching to N/A:-1 to talk to app master application_1437236195968_0001
Exception in thread "main" java.lang.IllegalArgumentException: invalid port: -1
待解决

时间： 2024-10-29 01:01:41

storm on yarn(CDH5) 部署笔记的相关文章

Storm on Yarn ：原理分析+平台搭建

Storm on YARN: Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁.它将Storm事件处理平台与YARN(Yet Another Resource Negotiator)应用管理框架进行了组合,为此前进行批处理的Hadoop应用提供了低延迟的处理能力. 诞生背景(yahoo): 雅虎公司平台副总裁Bruno Fernandez-Ruiz表示,他们发现Hadoop在处理海量数据时的速度还不够快.Hadoop和MapReduce的速度无法满足用户事件,比如电子邮件

storm on yarn安装时 提交到yarn失败 failed

最近在部署storm on yarn ,部署参考文章 http://www.tuicool.com/articles/BFr2Yvhttp://blog.csdn.net/jiushuai/article/details/18729367 在安装完zookeeper,配置好storm 和storm on yarn后,启动zookeeper,其中zookeeper的port为2181,然后通过mvn package 编译工程,发现会出现错误,然后使用mvn packet -DskipTests 重

Storm On YARN部署

下载 从github上下载storm-yarn的源码 https://github.com/yahoo/storm-yarn 编译 前提需要安装好JDK和Maven,解压storm-yarn-master.zip,并修改pom.xml中storm和hadoop版本 <properties> <storm.version>0.9.0</storm.version> <hadoop.version>2.5.0-cdh5.3.0</hadoop.versio

Storm on Yarn 安装配置

1.背景知识 在不修改Storm任何源代码的情况下,让Storm运行在YARN上,最简单的实现方法是将Storm的各个服务组件(包括Nimbus和Supervisor),作为单独的任务运行在YARN上,当前比较有名的“Storm On YARN”实现是由yahoo!开源的,它基本实现了上述描述的功能,下面具体进行说明:(1) YARN-Storm Client提供了一系列Shell命令供用户控制YARN上的Storm服务,比如构建一个Storm集群命令如下:storm-yarn launch <

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.

Storm on YARN介绍

Storm On YARN带来的好处 相比于将Storm部署到一个独立的集群中,Storm On YARN带来的好处很多,主要有以下几个: 弹性计算资源: 将Storm运行到YARN上后,Storm可与其他应用程序(比如MapReduce批处理应用程序)共享整个集群中的资源,这样,当Storm负载骤增时,可动态为它增加计算资源,而当负载减小时,可释放部分资源,从而将这些资源暂时分配给负载更重的批处理应用程序. 共享底层存储: Storm可与运行在YARN上的其他框架共享底层的一个HDFS存储系统

安装storm的一些很乱的笔记

下面是自己安装和测试storm的一些笔记,比较乱,后续有时间在整理一篇. storm jar all-my-code.jar com.storm.MyTopology arg1 arg2这个命令会运行主类: com.strom.MyTopology, 参数是arg1, arg2.这个类的main函数定义这个topology并且把它提交给Nimbus.storm jar负责连接到Nimbus并且上传jar包. activate和deactivate是在spout被activate或deactiva

Storm介绍及安装部署

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两