1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件:

  • Zookeeper
  • Python
  • Zeromq
  • Storm
  • JDK
  • JZMQ

故安装过程根据上面的组件分为以下几步:

  • 安装JDK
  • 安装Zookeeper集群
  • 安装Python及依赖
  • 安装Storm

另外,操作系统环境为:Centos6.4,安装用户为:root。

1. 安装JDK

安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文。

不管你用什么方法,最后需要配置JAVA_HOME并检测当前jdk版本:

$ java -version
java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)

2. 安装Zookeeper集群

可以参考文博客使用yum安装CDH Hadoop集群中的Zookeeper集群安装步骤。

3. 安装Python及依赖

一般操作系统上都安装了Python,查看当前Python版本:

$ python -V
Python 2.6.6

3.1 下载Zeromq

$ wget http://download.zeromq.org/zeromq-4.0.4.tar.gz
$ tar zxvf zeromq-4.0.4.tar.gz
$ ./configure
$ make & make install

3.2 安装Jzmq

$ git clone git://github.com/nathanmarz/jzmq.git
$ cd jzmq
$ ./autogen.sh
$ ./configure
$ make & make install

4. 安装Storm

下载稳定版本的storm,然后解压将其拷贝到/usr/lib/storm目录:

$ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
$ unzip storm-0.8.1.zip
$ mv storm-0.8.1 /usr/lib/storm

接下来,配置环境变量:

export STORM_HOME=/usr/lib/storm
export PATH=$PATH:$STORM_HOME/bin

建立storm存储目录:

$ mkdir /tmp/storm

修改配置文件/usr/lib/storm/conf/storm.yaml,修改为如下:

 storm.zookeeper.servers:
     - "cdh1"
     - "cdh2"
     - "cdh3"
 ui.port: 8081
 nimbus.host: "cdh2"
 storm.local.dir: "/tmp/storm"
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

其中,配置参数说明:

  • storm.zookeeper.servers:Storm集群使用的Zookeeper集群地址,如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项
  • ui.port:Storm UI的服务端口
  • storm.local.dir:Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录
  • java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib下,因此不需要配置即可。
  • nimbus.host: Storm集群Nimbus机器地址
  • supervisor.slots.ports: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口

更多配置参数,请参考Storm配置项详解

最后,启动Storm各个后台进程:

主控节点上启动nimbus:

$ storm nimbus >/dev/null 2>&1 &

在Storm各个工作节点上运行:

$ storm supervisor >/dev/null 2>&1 &

在Storm主控节点上启动ui:

$ storm ui >/dev/null 2>&1 &

然后,你可以访问http://cdh2:8081/查看集群的worker资源使用情况、Topologies的运行状态等信息

来自为知笔记(Wiz)

时间: 2024-10-13 01:05:08

1.1 Storm集群安装部署步骤的相关文章

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

Storm笔记整理(三):Storm集群安装部署与Topology作业提交

[TOC] Storm分布式集群安装部署 概述 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是"MapReduce jobs",在Storm上你运行的是"topologies"."Jobs"和"topologies"是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(wo

Hadoop集群安装部署步骤详解

虚拟机安装 不要用Cgywin 系统都为32位的Centos 5 Linux安装ssh协议,安装的时候选中ssh安装包. 一.硬件环境 2机器,通过hostname进行设置: master(192.168.1.102) slave1(192.168.1.101) 该环境目前只有2个节点,有资源的话可以增加slave2.slave3- 虚拟机上安装linux的话,用使用桥接的方式,在虚拟机系统名称上点右键--设置: 如果桥接不行可以选NAT 给每个linux设置固定的ip,因为不设置的话虚拟机每次

Storm集群安装详解

Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器上执行. 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1.   Strom集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工

redis3.0.2 分布式集群安装详细步骤

redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 csc 一: redis cluster介绍篇 1:redis cluster的现状 目前redis支持的cluster特性(已亲测): 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于

flink部署操作-flink standalone集群安装部署

flink集群安装部署 standalone集群模式 必须依赖 必须的软件 JAVA_HOME配置 flink安装 配置flink 启动flink 添加Jobmanager/taskmanager 实例到集群 个人真实环境实践安装步骤 必须依赖 必须的软件 flink运行在所有类unix环境中,例如:linux.mac.或者cygwin,并且集群由一个master节点和一个或者多个worker节点.在你开始安装系统之前,确保你有在每个节点上安装以下软件. java 1.8.x或者更高 ssh 如

Mysql上的RAC:Percona XtraDB Cluster负载均衡集群安装部署手册

 Percona XtraDB Cluster安装部署手册 引言 编写目的 编写此文档,供PerconaXtraDB Cluster部署时使用. 预期读者 系统维护人员及实施人员. 编制依据及参考资料 目标 通过阅读该手册,让读者明确PerconaXtraDB Cluster的安装.配置和维护情况,为后续数据库运维工作提供指导. 应用部署方案 环境准备 服务器列表 序号 IP 用途 HOSTNAME 操作系统 1 192.168.0.7 Percona XtraDB Cluster RedHat

ElasticSearch2.2 集群安装部署

一.ElasticSearch 集群安装部署 环境准备 ubuntu虚拟机2台 ip:192.168.1.104 192.168.1.106 jdk:最低要求1.7,本机jdk版本1.7_67 安装 a.安装jdk(这里不赘述) b.从官网下载ES版本 地址https://www.elastic.co/downloads/elasticsearch c.解压ES到本地 d.进入config目录下,用编辑器打开elasticsearch.yml文件 1.cluster.name: ppscore-

mesos 集群安装部署规划、准备(1)

一:简介 Mesos诞生于UC Berkeley的一个研究项目,现已成为Apache Incubator中的项目.Mesos计算框架一个集群管理器,提供了有效的.跨分布式应用或框架的资源隔离和共享,可以运行Hadoop.MPI.Hypertable.Spark.使用ZooKeeper实现容错复制,使用Linux Containers来隔离任务,支持多种资源计划分配. 1: 总体架构 Apache Mesos由四个组件组成,分别是Mesos-master,mesos-slave,framework