storm记录--5-- Storm集群安装

以下是依次需要完成的安装步骤

一、安装JDK1.6

二、安装Zookeeper

三、安装zeromq-2.1.7

四、安装jzmq

五、安装Python-2.7.2

六、安装unzip

七、安装Storm

一、下载并安装JDK1.6 并设置环境变量,如:

export JAVA_HOME=/opt/java6

export PATH=$PATH:$JAVA_HOME/bin

运行java、javac命令,测试java正常安装。

二、安装zookeeper

简易安装:下载zookeeper-3.4.6.tar.gz放到/opt目录,然后修改/opt/zookeeper-3.4.6/data/myid 文件中的序列号,最后到bin目录下./zkServer.sh start 启动

完整安装:

安装zookeeper(至少安装2n+1台,n>0,也就是说不能安装两台,所以每套环境只安装了一台)

1、下载zookeeper:wget http://mirror.esocc.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 放到opt目录下

2、将conf目录下的  zoo_sample.cfg复制为zoo.cfg

3、编辑zoo.cfg

3.1、添加server(单机模式就不用改了,集群模式要添加如下:)

server.1=zookeeper1:2888:3888  (节点ip及端口)

server.2=zookeeper2:2888:3888

server.3=zookeeper3:2888:3888

3.2 添加配置项,说明数据文件路径

dataDir=/opt/zookeeper-3.4.6/data/

4、在/opt/zookeeper-3.4.6/data/  目录下新建myid文件,并编辑为server.id中的id号,如1、2、3

5、启动zookeeper:/opt/zookeeper-3.4.6/bin/zkServer.sh start

6、查看状态:/opt/zookeeper-3.4.6/bin/zkServer.sh status

7、停止zookeeper进程:/opt/zookeeper-3.4.6/bin/zkServer.sh stop

三、安装zeromq-2.1.7(安装过程中若出现失败,请关注注意事项)

1、下载并解压zeromq-2.1.7

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -zxf zeromq-2.1.7.tar.gz

2、执行以下命令

cd zeromq-2.1.7

./configure

make

make install

四、安装jzmq

1、下载并解压jzmg

2、执行以下命令

cd jzmq

./autogen.sh

./configure

make

make install

五、安装Python-2.7.2

1、下载并解压Python-2.7.2

2、执行以下命令

cd Python-2.7.2

./configure

make

make install

六、安装unzip

yum install unzip

七、安装storm-0.8.0

1、下载并解压storm-0.8.0

2、修改${storm}/conf/storm.yaml配置文件

1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:

storm.zookeeper.servers:

- "111.222.333.444"

- "555.666.777.888"

如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。

2) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:

storm.local.dir: "/state/partition1/tmp/storm"

3) java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下,因此不需要配置即可。

4) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件,如:

nimbus.host: "111.222.333.444"

5) supervisor.slots.ports: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口,如:

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

3 启动Storm各个后台进程

以下是启动Storm各个后台进程的方式:

a、Nimbus: 在Storm主控节点的${storm}/bin目录上运行"nohup storm nimbus &"启动Nimbus后台程序,并放到后台执行;

b、Supervisor: 在Storm各个工作节点的${storm}/bin目录上运行"nohup storm supervisor &"启动Supervisor后台程序,必须先启动主节点并放到后台执行;

c、UI: 在Storm主控节点的${storm}/bin目录上运行"nohup storm ui &"启动UI后台程序,并放到后台执行,启动后可以通过

http://nimbus host:9090/ 观察集群的worker资源使用情况、Topologies的运行状态等信息。

至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

启动目前项目的各个job在$STORM_HOME/bin目录下

只要在主节点启动,jar包也放主节点上

参数:名称,进程数NumWorkers(默认值为各个topology后面的值)

storm jar stormtopology.jar com.hc360.storm.MyTopology MyTopology 3;

通过UI去查看各个job是否成功启动:

http://nimbus host:9090/

关闭各个job的命令如下:

在$STORM_HOME/bin目录下

storm kill MyTopology;

注意事项:

1.配置hosts文件 (注意:localhost采取默认127.0.0.1,不要改动)

vi /etc/hosts

配置环境变量(jdk,storm):

vi /etc/profile

2.No route to host

出现上面错误的原因有可能是:防火墙没有关闭

iptables -l

3.中途失败,按照提示先安装其他库

yum install  libtools

yum install gcc-c++

yum install uuid-devel

yum install libuuid-devel

4.Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。

5.经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。

6.为了方便使用,可以将bin/storm加入到系统环境变量中。

Storm集群安装部署步骤【详细版】

时间: 2024-10-07 01:17:15

storm记录--5-- Storm集群安装的相关文章

CentOS下Storm 1.0.0集群安装具体解释

本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装參考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本号是官方说已经有測

CentOS下Storm 1.0.0集群安装详解

本文环境如下: 操作系统:CentOS 6 32位 ZooKeeper版本:3.4.8 Storm版本:1.0.0 JDK版本:1.8.0_77 32位 python版本:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装参考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本是官方说已经有测试可以和Str

Storm 集群安装配置

本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看“问题与解决”一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题的邮件. 以下是安装 Storm 的步骤:

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

storm的集群安装与配置

storm集群安装 机器:(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 须要准备的软件有: zookeeper(zookeeper-3.4.4.tar.gz),storm(storm-0.8.1.zip) ,jdk 1.配置zookeeper 这里就不介绍了! 2.配置storm 解压storm 进入conf文件夹,编辑storm.yaml文件 ########## These MUST be filled

Storm简述及集群安装

Storm 集群类似于一个 Hadoop 集群.然而你在 Hadoop 的执行"MapReduce job", 在storm 上你执行 "topologies (不好翻译)"."job"和"topologies "本身有非常 大的不同,一个关键的差别是,MapReduce 的工作终于完毕,而 topologies 处理消息 永远保持(或直到你杀了它) . Strom 集群有主要有两类节点:主节点和工作节点. 主节点上执行一个叫

Storm集群安装详解

Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器上执行. 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1.   Strom集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工

Storm笔记整理(三):Storm集群安装部署与Topology作业提交

[TOC] Storm分布式集群安装部署 概述 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是"MapReduce jobs",在Storm上你运行的是"topologies"."Jobs"和"topologies"是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(wo

STORM在线业务实践-集群空闲CPU飙高问题排查(转)

最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并到了storm新版本中,在这篇文章里会介绍这个问题出现的场景.分析思路.解决的方式和一些个人的收获. 背景 首先简单介绍一下Storm,熟悉的同学可以直接跳过这段. Storm是Twitter开源的一个大数据处理框架,专注于流式数据的处理.Storm通过创建拓扑结构(Topolog