Storm Cluster安装

Storm Cluster安装

@[安装|storm]

官方文档：设置storm cluster

1. 上传storm安装包到服务器

  • 在120，121，122，123四台机器的/apps/目录下安装apache-storm-0.9.1-incubating

2. 安装Zookeeper

  • 由于121,123,124上已有Zookeeper，所以不安装Zookeeper了

3. 安装Java和Python

  • Java1.7
  • Python2.6.6

4. 解压下载的storm release到Nimbus和worker机器

?Storm下载

5. 修改conf/storm.yaml配置文件

  • storm.zookeeper.servers: zookeeper cluster的主机列表

    storm.zookeeper.servers:
    - "10.0.8.121"
    - "10.0.8.123"
    - "10.0.8.124"

# 若修改了zookeeper的默认端口，需配置storm.zookeeper.port参数:
 storm.zookeeper.port: 2181
  • storm.local.dir: 存储Nimbus和Supervisor守护进程的状态量 
    storm.local.dir: "/apps/apache-storm-0.9.1-incubating/data"
  • nimbus.host: master机器的IP(以便worker nodes从master下载topology jars和confs) 
    nimbus.host: "10.0.8.120"
  • supervisor.slots.ports: 每个worker机器运行4个进程，每个进程使用一个独立端口接收消息 
    supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

6. 启动守护进程

  1. Nimbus: 在master机器上运行bin/storm nimbus
  2. Supervisor: 在每个worker机器上运行bin/storm supervisor
  3. StormUI: 运行/bin/storm ui启用stormUI

7. 搭建StormUI

时间： 2024-10-10 17:42:15

Storm Cluster安装的相关文章

Kafka实战－Storm Cluster

1.概述 在<Kafka实战-实时日志统计流程>一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Storm Cluster的搭建部署.以下是今天的分享目录: Storm简述 基础软件 安装部署 效果预览 下面开始今天的内容分享. 2.Storm简述 Twitter将Storm开源了,这是一个分布式的.容错的实时计算系统,已被贡献到Apache基金会,下载地址如下所示: http://stor

Windows Server2016+SQL Server 2016 Cluster安装及配置

Windows Server2016+SQL Server 2016 Cluster 安装及配置 我们知道,近期微软正式发布了Windows Server2016和SQL Server Cluster 2016,所以借此机会来尝试一下Windows Server2016+SQL Server Cluster 2016安装及配置,对于相关功能的优化及升级需要在官网上自己查看整理.大概就是windows server2016跟windows10页面框架结构差不多,SQL Server2016从安装上

Centos6.5 storm单机安装

Centos6.5 storm单机安装 本篇幅讲述Twitter Storm安装配置,也作为自己的笔记. storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster storm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样. 要使用storm首先要安装以下工具: python.zookeeper.zeromq.jzmq.storm 第一步,安装Python2.7.2 wget

mysql cluster安装部署

mysql cluster安装部署: http://www.178linux.com/36462 IPADDR=192.168.0.71 NETMASK=255.255.255.0 GATEWAY=192.168.0.1 DNS1=192.168.0.1 管理节点(MGM):  192.168.1.71 数据节点1(NDBD1):192.168.1.72 数据节点2(NDBD2):192.168.1.73 sql节点1(SQL1):   192.168.1.74 sql节点2(SQL2):  

ubuntu14.04LTS 下storm单机版安装配置

1．下载storm 的安装文件 http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz 1 tar -zxvf apache-storm-0.9.2-incubating.tar.gz 2.修改Storm的配置文件 conf/storm.yaml 1 storm.zookeeper.servers: 2 - "lo

mac上storm standalone安装

一.安装storm 下载storm http://storm.apache.org/downloads.html export STORM_HOME=/Users/huangjiahong/Documents/apache/apache-storm-0.10.0 二.安装zookeeper 下载zookeeper http://mirror.bit.edu.cn/apache/zookeeper/ 1.加入到系统环境变量中 export ZOOKEEPER_HOME=/Users/huangji

SQL Server2014 Cluster安装及配置

提到SQL Server相信大家都很熟悉了,根据自己的需求不同,可以选择不同的数据库版本,比如使用最多的应该就是mysql了,因为mysql是免费使用的, 接下来就是SQL Server了,最后就是oracle了,当然,这些不同版本的数据库有不同的作用:mysql不能用于大数据的写入及存取,因为满足不了需求.剩下的就是SQL Server和oracle了,那他们的区别有哪些呢?1.开发性,SQL Server只能运行在windows上,操作系通过的稳定对数据库是十分重要的,而windows平台的

storm的安装

一. 安装storm要先本机搭建好zookeeper集群(手动目录安装或者CDH安装) 二. Java 6 Python 2.6.6 unzip(针对使用语言要安装好相应环境 比如java 要JDK和unzip) 三.安装两个strom依赖的消息队列包 ZeroMQ安装: wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure mak

多节点 安装redis cluster安装部署-4.0.1

环境 节点数量 IP:172.17.7.11   CPU :12 核  MEM:96G   启动服务数量:6   使用端口:7001~12IP:172.17.7.25   CPU :12 核  MEM:96G   启动服务数量:6   使用端口:7001~12IP:172.17.7.26   CPU :12 核  MEM:96G   启动服务数量:6   使用端口:7001~12 kernel uname -aLinux jp33e503-7-11.ptfuture.com 3.10.0-514