storm集群配置

1. 安装zookeeper集群

http://www.cnblogs.com/stevenczp/p/4924420.html

2. 在master上下载storm

官方的release版本下载链接：http://storm.apache.org/downloads.html

一开始我犯了个愚蠢的错误，把源码下载然后安装了，于是不停的报错“the storm client can only be run from within a release”之类的

我解压到了/home/storm/storm目录下

3.然后修改/conf/storm.yaml文件

加入zookeeper配置文件，storm的local文件夹地址，nimbus和supervisor的简单配置

 storm.zookeeper.servers:
      - "master"
      - "slave1"
      - "slave2"
      - "slave3"
 storm.zookeeper.port: 2181
 nimbus.host: "master"

 storm.local.dir: "/home/storm/storm/storm/data"

 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

　　这一步尤其需要小心

首先所有的配置需要开头空一格，只能用空格，用tab符报错

其次如果在搭建zookeeper的时候修改了端口，那么这里也需要添加zookeeper的端口说明，否则无法工作

如果后续无法正常运行，就看log，然后修改对应的问题

4. 用scp将配置好的storm复制到各个slave下

5. 在master上启动nimbus，ui，在slave上启动supervisor

master:/bin/storm nimbus
master:/bin/storm ui

slave1:/bin/storm supervisor
slave2:/bin/storm supervisor
slave3:/bin/storm supervisor

6.浏览器里打开master:8080

如果长时间loading，并且log里有connecting to nimbus之类的字样，那可能就是zookeeper的port不是默认端口但是又没有配置引起的

一切正常的话，就能直接看到集群的状态了

时间： 2024-10-25 06:27:23

storm集群配置的相关文章

storm 集群配置

配置storm集群的过程中出现写问题,记录下来 1.storm是通过zookeeper管理的,先要安装zookeeper,从zk官网上下来,我这里下下来的的3.4.9,下载后移动到/usr/local,并解压. tar -zxvf zookeeper-3.4.9.tar.gz 2.进入conf目录,复制zoo_sample.cfg且改名未zoo.cfg,修改zoo.cfg配置文件 cp zoo_sample.cfg /usr/local/zookeeper-3.4.9/conf/zoo.cfg

安装storm集群

手工安装Storm集群 注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本. 要手工安装Storm,需要先安装以下软件 Zookeeper集群(安装方法详见管理向导) Java6.0 Python2.6.6 Unzip命令 NOTE: Nimbus和管理进程将要依赖Java.Python和unzip命令 安装本地库: 安装ZeroMQ: 1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz

Storm集群搭建及测试

安装Storm 步骤: A.搭建ZooKeeper集群 B.安装storm依赖的软件 C.安装及配置Storm 1.搭建ZooKeeper集群 2.安装storm依赖的软件 ZeroMQ 2.1.7 是一个消息处理队列库,可在多个线程.内核和主机盒之间弹性伸缩. JZMQ   底层消息队列 Java 6 Python 2.6.6 unzip //用于解压可以不安装 ZeroMQ安装: wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar

通过 IDE 向 Storm 集群远程提交 topology

转载: http://weyo.me/pages/techs/storm-topology-remote-submission/ 作为一个懒癌晚期患者,虽然 Storm 只需要一条命令的任务提交方式已经够简单了,但还是一直想要有种更简(tou)单(lan)的方式,比如要是在 Windows 下写完代码之后可以直接提交任务而不需要手动把 jar 包拷到服务器上再提交那定是极好的了.谷歌了一下终于在墙外找到了解决方法: Submitting a topology to Remote Storm Cl

Storm集群的安装配置

Storm集群的安装分为以下几步: 1.首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 2.释放压缩包 3.修改storm.yaml添加集群配置信息 4.使用storm脚本启动相应服务并查看服务状态 5.通过web查看storm集群的状态 安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好 Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK 部分需要依赖Python,红帽系列L

storm集群部署和配置过程详解

---恢复内容开始--- 先整体介绍一下搭建storm集群的步骤: 设置zookeeper集群 安装依赖到所有nimbus和worker节点 下载并解压storm发布版本到所有nimbus和worker节点 配置storm.yaml 启动相关后台进程 1 配置zookeeper集群 我们知道storm通过zookeeper来协调整个集群.zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力.单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到

Storm 集群安装配置

本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看“问题与解决”一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题的邮件. 以下是安装 Storm 的步骤:

Storm 系列（三）Storm 集群部署和配置

Storm 系列(三)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群.相关的过程和主要的配置选项是 Storm 的运维人员需要重点关注的,对部署和配置选项不感兴趣的读者,可以跳过本章. 在开始 Storm 之旅前,我们先看一下 Storm 部署和配置的相关信息,并提交一个 Topology,了解 Storm 的基本原理.Storm 的部署模式包括单机和集群环境,同时在向 Storm 环境中提交 To

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两