安装storm集群

手工安装Storm集群

注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本。

要手工安装Storm,需要先安装以下软件

  • Zookeeper集群(安装方法详见管理向导
  • Java6.0
  • Python2.6.6
  • Unzip命令

NOTE: Nimbus和管理进程将要依赖Java、Python和unzip命令

安装本地库:

安装ZeroMQ:

1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
2 tar -xzf zeromq-2.1.7.tar.gz
3 cd zeromq-2.1.7
4 ./configure
5 make
6 sudo make install 

安装JZMQ:

1 git clone https://github.com/nathanmarz/jzmq.git
2 cd jzmq
3 ./autogen.sh
4 ./configure
5 make
6 sudo make install

本地库安装完了,下载最新的Storm稳定版(写作本书时是Storm0.7.1。译者注:翻译本章时已是v0.9.1,可从http://storm.incubator.apache.org/https://github.com/apache/incubator-storm/releases下载),并解压缩。

编辑配置文件,增加Storm集群配置(可以从Storm仓库的defaults.yaml看到所有的默认配置)。

编辑Storm目录下的conf/storm.yaml,添加以下参数,增加集群配置:

storm.zookeeper.servers:

– "zookeeper addres 1"

– "zookeeper addres 2"

– "zookeeper addres N"

storm.local.dir: "a local directory"

nimbus.host: "Nimbus host addres"

supervisor.slots.ports:

– supervisor slot port 1

– supervisor slot port 2

– supervisor slot port N

参数解释:

storm.zookeeper.servers

你的zookeeper服务器地址。

storm.local.dir

Storm进程保存内部数据的本地目录。(务必保证运行Storm进程的用户拥有这个目录的写权限。)

nimbus.host

Nimbus运行的机器的地址

supervisor.slots.ports

接收消息的工人进程监听的端口号(通常从6700开始);管理进程为这个属性指定的每个端口号运行一个工人进程。

当你完成了这些配置,就可以运行所有的Storm进程了。如果你想运行一个本地进程测试一下,就把nimbus.host配置成localhost。启动一个Storm进程,在Storm目录下执行:./bin/storm 进程名

NOTE:Storm提供了一个出色的叫做Storm UI的工具,用来辅助监控拓扑。
时间: 2024-10-26 17:12:30

安装storm集群的相关文章

CentOS6.5 安装Storm集群

1.首先安装依赖包 [[email protected] ~]# yum install uuid* [[email protected] ~]# yum install libuuid [[email protected] ~]# yum install libuuid-devel [[email protected] ~]# yum install libtool [[email protected] ~]# yum install e2fsprogs [[email protected]

在Ubuntu15.10下安装Storm集群(一个机器上运行Nimbus和Supervisor 适合初学者)

1. 下载所需的资源 jdk-8u65-linux-x64.tar.gz zeromq-4.1.4.tar.gz jzmq-master.zip zookeeper-3.5.1-alpha.tar.gz apache-storm-0.10.0.tar.gz 2. 安装jdk 我们打算把jdk安装在/usr/lib/jvm中:首先把Windows上下载好的jdk包复制到Ubuntu系统的用户文件夹(/home/<你的用户名>)中(如果无法复制可能是你的VMTools没有正确安装,需要重新安装VM

window10单机安装storm集群

适合范围:storm自由开源的分布式实时计算系统,擅长处理海量数据.适合处理实时数据而不是批处理. 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper.apache.org/,点击download进入新页面之后,--->download,选择一个镜像文件下载到本地: ②下面是我选择的文件http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ ,下载的版本是zookeeper-3.4.14: ③解

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

Storm集群的安装与测试

首先安装zookeeper集群,然后安装storm集群. 我使用的是centos 32bit的三台虚拟机. MachineName ip namenode 192.168.99.110 datanode01 192.168.99.111 datanode02 192.168.99.112 首先配置好ssh,可以无密码互访. 安装好jdk,我本机安装的是1.7. 安装好python.机器自带2.6.6. 安装zookeeper的时候,下载文件,解压,在 /etc/profile 中设置环境变量.

Storm集群的安装配置

Storm集群的安装分为以下几步: 1.首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 2.释放压缩包 3.修改storm.yaml添加集群配置信息 4.使用storm脚本启动相应服务并查看服务状态 5.通过web查看storm集群的状态 安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好 Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK 部分需要依赖Python,红帽系列L

Storm集群安装详解

Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器上执行. 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1.   Strom集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工

Storm 集群安装配置

本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看“问题与解决”一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题的邮件. 以下是安装 Storm 的步骤: