storm0.9.5集群安装

安装前的准备工作
l 关闭防火墙

chkconfig iptables off && setenforce 0

l 创建用户

groupadd realtime && useradd realtime && usermod -a -G realtime realtime

l 创建工作目录并赋权

mkdir /export

mkdir /export/servers

chmod 755 -R /export

l 切换到realtime用户下

su realtime

1、安装一个zookeeper集群,并启动zookeeper集群。

 

2、上传storm的安装包,解压

 

3、修改storm配置文件storm.yaml

必填配置

#所使用的zookeeper集群主机的ip地址

storm.zookeeper.servers:

- "weekend01"

- "weekend02"

- "weekend03"

#storm中nimbus所在的主机名

nimbus.host: "weekend04"

可选配置

#指定一个supervisor上可以启动几个work进程,每个进程占用一个端口,如果不配置默认是4个work进程。

supervisor.slots.ports

-6701

-6702

-6703

-6704

-6705

#指定nimbus启动JVM最大可用内存大小

nimbus.childopts:"-Xmx1024m"

#指定supervisor启动JVM最大可用内存大小

supervisor.childopts:"-Xmx1024m"

#指定supervisor节点上,每一个worker启动JVM最大可用内存大小

worker.childopts:"-Xmx1024m"

#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上

ui.childopts:"-Xmx1024m"

等等....

新浪微博:intsmaze刘洋洋哥

启动storm

在storm/bin目录下

先在nimbus主机上启动nimbus

./storm nimbus

./storm ui

这样启动如果关闭会话窗口nimbus服务就会关闭。

输入下面命令,让nimbus在后台进程;运行。

nohup ./storm nimbus 1>/dev/null 2>&1 &

可以通过打印台看到其实就是执行该命令,启动一个java类:Running: /export/servers/jdk/bin/java -server backtype.storm.daemon.nimbus

nohup ./storm ui 1>/dev/null 2>&1 &

在supervisor主机上

nohup ./storm supervisor 1>/dev/null 2>&1 &

Running: /export/servers/jdk/bin/java -server backtype.storm.daemon.supervisor

启动./storm ui后,就可以访问图形界面了。

访问nimbus.host:/8080,即可看到storm的ui界面。

4、Storm常用操作命令

有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。

提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount
        杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间)

storm kill topology-name -w 10
        停用任务命令格式:storm deactivte  【拓扑名称】

storm deactivte topology-name

我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

启用任务命令格式:storm activate【拓扑名称】

storm activate topology-name
        重新部署任务命令格式:storm rebalance  【拓扑名称】

storm rebalance topology-name
        再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。

5、Storm集群的进程及日志熟悉

5.1、查看nimbus的日志信息

在nimbus的服务器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log

5.2、查看ui运行日志信息

在ui的服务器上,一般和nimbus一个服务器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log

5.3、查看supervisor运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log

5.4、查看supervisor上worker运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/worker-6702.log

时间: 2024-08-14 16:15:44

storm0.9.5集群安装的相关文章

storm0.9.1 集群环境安装配置

Storm安装配置 三台机器  131,132,133 需要安装 jdk,python,autoconf-2.64,zeromq-3.2.2,jzmq 安装jdk和python不详细说. 1  安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 上传到lunix上的工作目录 比如  /home/bigdata/ 解压  tar -xvf   autoconf-2.6

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

storm的集群安装与配置

storm集群安装 机器:(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 须要准备的软件有: zookeeper(zookeeper-3.4.4.tar.gz),storm(storm-0.8.1.zip) ,jdk 1.配置zookeeper 这里就不介绍了! 2.配置storm 解压storm 进入conf文件夹,编辑storm.yaml文件 ########## These MUST be filled

Storm简述及集群安装

Storm 集群类似于一个 Hadoop 集群.然而你在 Hadoop 的执行"MapReduce job", 在storm 上你执行 "topologies (不好翻译)"."job"和"topologies "本身有非常 大的不同,一个关键的差别是,MapReduce 的工作终于完毕,而 topologies 处理消息 永远保持(或直到你杀了它) . Strom 集群有主要有两类节点:主节点和工作节点. 主节点上执行一个叫

Storm集群安装详解

Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器上执行. 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1.   Strom集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工

storm记录--5-- Storm集群安装

以下是依次需要完成的安装步骤 一.安装JDK1.6 二.安装Zookeeper 三.安装zeromq-2.1.7 四.安装jzmq 五.安装Python-2.7.2 六.安装unzip 七.安装Storm 一.下载并安装JDK1.6 并设置环境变量,如: export JAVA_HOME=/opt/java6 export PATH=$PATH:$JAVA_HOME/bin 运行java.javac命令,测试java正常安装. 二.安装zookeeper 简易安装:下载zookeeper-3.4

“挖掘机”升级路 一篇(03)--HBase集群安装中的收获

粗略算算,从上周五到这周二,折腾Hadoop已经三天了.这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久.简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功. 也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道

Spark2.1集群安装(standalone模式)

机器部署 准备三台Linux服务器,安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包到指定位置tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -C /home/hadoop/app/spark2.0/ 原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6569036.html 微信:intsmaze 配置Spar

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

1       VM网络配置... 3 2       CentOS配置... 5 2.1             下载地址... 5 2.2             激活网卡... 5 2.3             SecureCRT. 5 2.4             修改主机名... 6 2.5             yum代理上网... 7 2.6             安装ifconfig. 8 2.7             wget安装与代理... 8 2.8