Storm集群部署

一. 说明

  Storm是一个分布式实时计算系统,Storm对于实时计算的意义就相当于Hadoop对于批量计算的意义。对于实时性较高的系统Storm是不错的选择。Hadoop提供了map, reduce原语,使批处理程序变得非常地简单和优美。同样,storm也为实时计算提供了一些简单优美的原语。

  涉及的术语说明:

  Nimbus:Storm集群的主控节点,负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。其进程名为nimbus。

  Supervisor:Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程。其进程名为supervisor。

  core:Storm的UI服务进程。

  安装部署前的准备工作:

  1. 配置各主机IP,将各主机IP配置为静态IP(保证各主机可以正常通信,为避免过多的网络传输,建议在同一网段)。

  2. 修改各主机名,Storm集群中的所有主机都需要修改。

  3. 配置各主机映射,修改hosts文件,加入各主机IP和主机名的映射。

  4. 开放相应端口,后面文档中配置的端口都需要开放(或者关闭防火墙)。

  5. Python2.7及以上版本。

  6. 保证Zookeeper集群服务正常运行。如果在CentOS上安装过Hadoop或者Zookeeper的话,1-5项基本没问题。关于Zookeeper参考:http://www.cnblogs.com/wxisme/p/5178211.html

  7. 这里使用的JDK、Storm版本分别为1.8和0.9.5。

二. 安装配置Storm集群

  1. 到Storm官网下载对应的安装包并上传到集群节点。

  2. 解压安装包

tar -xvzf apache-storm-0.9.5.tar.gz

  3. 修改storm.yaml配置文件

vim conf/storm.yaml

  Storm集群使用的Zookeeper集群地址,根据实际情况进行修改。

storm.zookeeper.servers:
      - "node1"
      - "node2"
      - "node3"

  Zookeeper的端口不是默认端口时需要配置参数:

storm.zookeeper.port: "修改的端口"

  Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录(根据实际情况创建)并给以足够的访问权限。

storm.local.dir: "/usr/storm/data"

  Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件。根据实际情况进行修改。

nimbus.host: "node3"

  对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口。根据实际情况进行修改。

supervisor.slots.ports:
      - 6700
      - 6701
      - 6702

  DRPC提供了集群中处理功能的访问接口,storm集群drpc地址,根据实际情况进行修改。关于DRCP参考:http://www.dataguru.cn/article-5572-1.html

drpc.servers:
      - "node3"

  默认情况下,Storm启动worker进程时,JVM的最大内存是768M。由于在使用过程中,Bolt中加载大量数据,768M内存无法满足要求,会导致内存溢出。根据实际情况进行修改。

worker.childopts: "-Xmx1024m"

注意:上面的各项配置之间最好不要留有空行或者其他的空白字符。

三. 启动Storm集群

  1. 在主控节点启动Nimbus服务

bin/storm nimbus >> /dev/null &

  查看nimbus服务是否启动:

jps

  2.在各个节点启动Supervisor服务

bin/storm supervisor >> /dev/null &

  3.启动drpc服务

bin/storm drpc >> /dev/null &

  4.在主控节点启动Storm UI服务

bin/storm ui >> /dev/null &

  查看UI服务是否启动:

jps

  访问Storm UI

http://nimbus:8080/

四. 向Storm集群提交服务

  执行以下命令,启动Storm Topology:

bin/storm jar test.jar com.test.MyTopology arg1 arg2

  其中,test.jar是包含Topology实现代码的jar包,com.test.MyTopology的main方法是Topology的入口,arg1和arg2为com.test.MyTopology执行时需要传入的参数。

  停止Storm Topology:

bin/storm kill {toponame}

  其中,{toponame}为Topology提交到Storm集群时指定的Topology任务名称。

简单的Storm集群就部署好了,可以开始愉快的Storm之旅了!

时间: 2024-10-20 04:46:21

Storm集群部署的相关文章

Storm 系列(三)Storm 集群部署和配置

Storm 系列(三)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群.相关的过程和主要的配置选项是 Storm 的运维人员需要重点关注的,对部署和配置选项不感兴趣的读者,可以跳过本章. 在开始 Storm 之旅前,我们先看一下 Storm 部署和配置的相关信息,并提交一个 Topology,了解 Storm 的基本原理.Storm 的部署模式包括单机和集群环境,同时在向 Storm 环境中提交 To

storm集群部署手册

一.  准备 1.  硬件 三台装好RHEL6.7_x64的x86服务器,机器名如下 storm01 storm02 storm03 2.  软件 jdk-7u80-linux-x64.rpm apache-storm-1.0.1.zip 3.  zookeeper storm需用到zookeeper,开始安装前先安装好zookeeper,参照zookeeper集群部署手册 4.  Python storm需用到python,一般Linux都有python,这里需要python 2.6.6,如没

storm集群部署和配置过程详解

---恢复内容开始--- 先整体介绍一下搭建storm集群的步骤: 设置zookeeper集群 安装依赖到所有nimbus和worker节点 下载并解压storm发布版本到所有nimbus和worker节点 配置storm.yaml 启动相关后台进程 1 配置zookeeper集群 我们知道storm通过zookeeper来协调整个集群.zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力.单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到

storm 集群部署

前提条件 安装了python 2.6.6和java 8 创建帐号 这个帐号是storm服务使用,将来也会成为HDFS的用户帐号之一. useradd dean 创建公钥 su - dean ssh-keygen -t rsa -P '' 下载并解压 wget https://github.com/apache/storm/archive/v0.10.0-beta1.tar.gz tar zxvf v0.10.0-beta1.tar.gz 解压后放在/data/slot0/storm-0.10.0

storm集群和zookeeper集群的部署过程

本次实验的环境为VM station 10 安装三个虚拟机,系统为centOS6.5.IP分别如下图. 如下图,三个虚拟机均安装了Java1.7以及配置好了hosts文件. 接着是下载zookeeper-3.4.6(这里推荐使用此版本),进入conf目录下,将zoo_sample.cfg复制成zoo.cfg,然后修改zoo.cfg里面的参数配置.详细如下截图. 同时,在zookeeper-3.4.6目录中新建data目录.这个data目录一定要新建!!如图. 然后将zookeeper这个文件夹分

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

Storm笔记整理(三):Storm集群安装部署与Topology作业提交

[TOC] Storm分布式集群安装部署 概述 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是"MapReduce jobs",在Storm上你运行的是"topologies"."Jobs"和"topologies"是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(wo

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

storm文档(11)----搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41684717 源地址:http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 本文叙述了storm集群搭建和运行步骤.如果你打算在AWS上进行的话,可以使用storm-deploy项目.storm-deploy在EC2上完全自动进行下载.配置.以及storm集群的安装等步骤.它也为你配置了Gan