storm集群使用经验

本文会不断完善,今天开个头

slot数量配置

slot就是worker, 就是worker machine上的可运行的进程数,每个进程监听一个端口号。

整个集群的slot的总数 = 所有supervisor上的监听端口port的数目之和

建议是CPU总核数 - 1 。在24核服务器上,port数目应该最大是23才对。下面是20个的配置如下:

supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703
        - 6704
        - 6705
        - 6706
        - 6707
        - 6708
        - 6709
        - 6710
        - 6711
        - 6712
        - 6713
        - 6714
        - 6715
        - 6716
        - 6717
        - 6718

查找服务进程,并重启

ps -def | grep daemon.supervisor | grep -v grep | awk ‘{print $2}‘

然后运行kill命令后重新启动

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-27 06:15:31

storm集群使用经验的相关文章

Storm集群上的开发 ,Topology任务的编写 之 WordCount程序的编写(六)

由之前的学习,Storm的程序构成有Topology,Spout.Blot组成. 构建工程第一步 :引入jar,把storm集群中的/usr/local/apps/apache-storm-1.0.3/lib目录jar包全部引入 程序项目架构 :

安装storm集群

手工安装Storm集群 注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本. 要手工安装Storm,需要先安装以下软件 Zookeeper集群(安装方法详见管理向导) Java6.0 Python2.6.6 Unzip命令 NOTE: Nimbus和管理进程将要依赖Java.Python和unzip命令 安装本地库: 安装ZeroMQ: 1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

Storm集群搭建及测试

安装Storm 步骤: A.搭建ZooKeeper集群 B.安装storm依赖的软件 C.安装及配置Storm 1.搭建ZooKeeper集群 2.安装storm依赖的软件 ZeroMQ 2.1.7 是一个消息处理队列库,可在多个线程.内核和主机盒之间弹性伸缩. JZMQ   底层消息队列 Java 6 Python 2.6.6 unzip //用于解压可以不安装 ZeroMQ安装: wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar

Storm集群的搭建

集群结构 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是”MapReduce jobs”,在Storm上你运行的是”topologies”.”Jobs”和”topologies”是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(worker)节点. 控制节点运行一个称之为”Nimbus”的后台程序,它类似于Haddop的”JobTrack

storm文档(11)----搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41684717 源地址:http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 本文叙述了storm集群搭建和运行步骤.如果你打算在AWS上进行的话,可以使用storm-deploy项目.storm-deploy在EC2上完全自动进行下载.配置.以及storm集群的安装等步骤.它也为你配置了Gan

一:Storm集群环境搭建

第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境 第二:节点环境查看 第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试 第四:zookeeper集群环境搭建第五:Storm集群环境搭建[1

Storm集群部署

一. 说明 Storm是一个分布式实时计算系统,Storm对于实时计算的意义就相当于Hadoop对于批量计算的意义.对于实时性较高的系统Storm是不错的选择.Hadoop提供了map, reduce原语,使批处理程序变得非常地简单和优美.同样,storm也为实时计算提供了一些简单优美的原语. 涉及的术语说明: Nimbus:Storm集群的主控节点,负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.其进程名为nimbus. Supervisor:Supervisor