Storm集群环境搭建

安装Storm之前,需要先安装好Java与ZooKeeper,Java与ZooKeeper的安装此处不做过多讲解,Storm的安装步骤如下:

1.下载Storm

要在您的计算机上安装Storm框架,请访问以下链接并下载最新版本的Storm http://storm.apache.org/downloads.html,此处使用的Storm版本为1.1.0。

2.上传解压Storm

将下载的apache-storm-1.1.0.tar.gz上传到centos01节点的/opt/softwares目录,然后将其解压至目录/opt/modules,命令如下:

[[email protected] softwares]$ tar -zxvf apache-storm-1.1.0.tar.gz -C /opt/modules/

然后进入/opt/modules目录,将apache-storm-1.1.0文件夹重命名为storm-1.1.0:

[[email protected] modules]$ mv apache-storm-1.1.0/ storm-1.1.0

3.配置Storm

(1)修改环境变量文件/etc/profile,加入以下内容:

export STORM_HOME=/opt/modules/storm-1.1.0
export PATH=$PATH:$STORM_HOME/bin

然后执行source /etc/profile命令刷新环境变量文件。
(2)修改$STORM_HOME/conf下的文件storm-env.sh,加入以下内容,关联JDK与Storm配置文件的目录:

export JAVA_HOME=/opt/modules/jdk1.8.0_101
export STORM_CONF_DIR="/opt/modules/storm-1.1.0/conf"

(3)修改$STORM_HOME/conf下的文件storm.yaml,添加以下内容(注意“-”后的空格不能省略):

storm.zookeeper.servers:
    - "centos01"
    - "centos02"
    - "centos03"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
storm.zookeeper.port: 2181
storm.local.dir: "/opt/modules/storm-1.1.0/data"
nimbus.seeds: ["centos01"]

上述配置信息参数解析如下:
storm.zookeeper.servers:指定ZooKeeper节点的IP或主机名。
supervisor.slots.ports:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口。
storm.zookeeper.port:ZooKeeper节点的访问端口,如果不是默认值2181,则需要设置此属性。
storm.local.dir:Nimbus和Supervisor守护进程需要本地磁盘上的一个目录来存储少量的状态(比如jar,confs等等),因此需要提前在每个节点上创建该目录并给予适当的权限。
nimbus.seeds:Nimbus的候选节点,这里只配置一个。

4.拷贝Storm到集群其它节点

将配置好的Storm安装文件拷贝到集群其它节点(centos02和centos03),命令如下:

[[email protected] modules]$ scp -r storm-1.1.0/ centos02:/opt/modules/
[[email protected] modules]$ scp -r storm-1.1.0/ centos03:/opt/modules/

5.启动Storm

(1)在centos01上执行以下命令,启动Nimbus、UI服务,且在后台运行:

storm nimbus >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

启动成功后使用jps命令查看已经启动的Java进程,完整命令及输出如下:

[[email protected] bin]$ storm nimbus >/dev/null 2>&1 &
[1] 2992
[[email protected] bin]$ storm ui >/dev/null 2>&1 &
[2] 3129
[[email protected] bin]$ jps
2992 nimbus
2936 QuorumPeerMain
3129 core
3227 Jps

上述输出结果中,名为core的进程为storm的ui进程。ui进程启动后,可以在浏览器中访问地址http://centos01:8080查看集群的详细信息。如下图:

(2)在centos02节点上进入$STORM_HOME/bin目录,执行以下命令,启动Supervisor服务,且在后台运行:

./storm supervisor >/dev/null 2>&1 &

执行成功后,使用jps命令查看启动的Java进程:

[[email protected] bin]$ ./storm supervisor >/dev/null 2>&1 &
[1] 3518
[[email protected] bin]$ jps
3554 config_value
2935 QuorumPeerMain
3545 Jps
[[email protected] bin]$ jps
3568 Jps
2935 QuorumPeerMain
[[email protected] bin]$ jps
3603 Jps
2935 QuorumPeerMain
3593 config_value
[[email protected] bin]$ jps
3633 Jps
2935 QuorumPeerMain
3518 Supervisor

上述信息中,多次执行jps,直到出现了Supervisor进程,说明启动成功。前几次执行jps命令没有出现Supervisor进程是因为进程还没有启动完毕。
(3)同上,在centos03节点上进入$STORM_HOME/bin目录,执行以下命令,启动Supervisor服务,且在后台运行:

./storm supervisor >/dev/null 2>&1 &

至此,Storm集群搭建完成.

原文地址:https://www.cnblogs.com/dreamboy/p/11392682.html

时间: 2024-08-02 12:49:16

Storm集群环境搭建的相关文章

一:Storm集群环境搭建

第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境 第二:节点环境查看 第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试 第四:zookeeper集群环境搭建第五:Storm集群环境搭建[1

Apache Storm 集群环境搭建

Apache storm 是一个由twitter开源的大数据处理系统,与其他系统不同的是,storm旨在用于分布式实时处理并且与语言无关.笔者所认知的storm使用场景诸 如 实时日志分析.网站用户行为实时分析.实时计算等,目前很多公司也都把storm作为自己的大数据架构的一部分,来实现一些实时业务的处理. 相信大家都和我有一样的认知,那就是现在的技术都是项目驱动模式,没有最好的技术,只有最适合自己项目的技术.下面先跟大家分享一下我对storm的一些简单了解: storm的优点: 1.简单的编程

Storm 系列(四)—— Storm 集群环境搭建

一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus 服务外,还在 hadoop002 上部署备用的 Nimbus 服务.Nimbus 服务由 Zookeeper 集群进行协调管理,如果主 Nimbus 不可用,则备用 Nimbus 会成为新的主 Nimbus. 二.前置条件 Storm 运行依赖于 Java 7+ 和 Python 2.6.6 +,所

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单

项目进阶 之 集群环境搭建(三)多管理节点MySQL集群

上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点MySQL集群和多管理节点MySQL集群 上一篇的博客中,我们搭建的MySQL集群架构中,只存在一个管理节点,这样搭建的集群可以用如下所示的结构表示. 仔细分析上图就会发现,上图所示的单管理节点MySQL集群存在当唯一的管理节点由于网络.断电.压力过大等各种原因宕机后,数据节点和SQL节点将会各自为

Nginx1.7.4+Tomcat7+memcached集群环境搭建

这几天研究了一下Nginx和tomcat的集群环境搭建,同时支持HTTP请求和HTTPS请求,研究了一下,整理一下,分享给大家.还是有很多不足的地方,大家发现问题,希望多多指正.话不多说,上代码~ 因为研究的条件有限,我是在本机上搭建两个Tomcat进行模拟的. 一.环境准备 1.Tomcat7:http://tomcat.apache.org/download-70.cgi 2.Nginx1.7.4:http://nginx.org/en/download.html 3.Memcached:h

[转]ZooKeeper 集群环境搭建 (本机3个节点)

ZooKeeper 集群环境搭建 (本机3个节点) 是一个简单的分布式同步数据库(或者是小文件系统) --------------------------------------------------------1.建立目录server1server1/dataDirserver1/dataLogDirserver1/logsserver1/zookeeper3.4.6 server2server2/dataDirserver2/dataLogDirserver2/logsserver2/zo

solr集群环境搭建

Solr集群环境搭建 一.     准备 1.     下载: solr-4.4.0.zip   solr安装包 apache-tomcat-7.0.47.tar.gz  tomcat安装包 2.     说明: 其中集群环境采用nginx做分发(也可以使用apache),nginx的安装这里不再介绍.我们共有四台机器,分别如下 10.10.42.164 10.10.42.165 10.10.42.166 10.10.42.167 其中10.10.42.164作为主节点安装nginx,solr

Neo4j集群环境搭建

引言: Neo4j是目前主流的图数据库,它本身也提供了高可用的集群解决方案,本文将尝试搭建高可用的neo4j环境. 1. 什么是图数据库? 图形数据库(graphic database)是利用计算机将点.线.画霹图形基本元素按一定数据结同灶行存储的数据集合. 图形数据库将地图与其它类型的平面图中的图形描述为点.线.面等基本元素,并将这些图形元素按一定数据结构(通常为拓扑数据结构)建立起来的数据集合.包括两个层次:第一层次为拓扑编码的数据集合,由描述点.线.面等图形元素间关系的数据文件组成,包括多