安装配置storm 第二步 配置Storm集群(二)

1.编辑host文件  vi  /etc/hosts   三台主机同时修改

192.168.2.20  storm01
192.168.2.21  storm02
192.168.2.22  storm03

2.主节点上(storm)配置storm

(1)解压 apache-storm-1.0.3

(2)设置环境变量 : vi ~/.bash_profile

STORM_HOME=/usr/local/apps/apache-storm-1.0.3
export STORM_HOME

PATH=$STORM_HOME/bin:$PATH
export PATH

(3)source ~/.bash_profile

(4)创建tmp目录 : /usr/local/apps/apache-storm-1.0.3/tmp  保存storm的数据

(5)编辑storm.yaml : /usr/local/apps/apache-storm-1.0.3/conf

zookeeper主机

storm.zookeeper.servers:
     - "192.168.2.20"
     - "192.168.2.21"
     - "192.168.2.22"

配置nimbus主节点

nimbus.seeds: ["192.168.2.20"]   ---["host1","host2","host3"]  多个主节点实现HA的功能

配置storm数据存储的目录:

storm.local.dir:"/usr/local/apps/apache-storm-1.0.3/tmp"

配置supervisor的worker端口数:

supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

复制storm应用到21,22主机上

scp -r apache-storm-1.0.3/ [email protected]:/usr/local/apps

(6)启动storm顺序

1.启动主节点nimbus  : storm01上启动  storm nimbus &

2.启动从节点supervisor:storm02,storm03 storm supervisor &

遇到的问题:启动不起来,报错:

could not found expected ‘:‘
 in ‘reader‘, line 28, column 1:
    supervisor.slots.ports:

配置文件需要有空格:坑爹的地方

空格nimbus.host: "10.10.10.10"
空格storm.zookeeper.port: 2181
空格storm.local.dir:空格"date/storm-2.2.1/data"
空格supervisor.slots.ports:

最后jps查看进程

-- 主节点
[[email protected]-server-00 conf]# jps
7579 nimbus
6268 QuorumPeerMain
7678 Jps

-- 从节点
[[email protected]-server-01 conf]# jps
5706 QuorumPeerMain
7076 Supervisor
7171 Jps
时间: 2024-11-10 22:32:59

安装配置storm 第二步 配置Storm集群(二)的相关文章

apache+inotify-tools+keepalived+lvs-DR模式配置高可用负载均衡集群

环境:虚拟机VMware workstation 9 操作系统:Redhat 5.6 i386 一.keepalived+LVS-DR模式配置高可用负载均衡 拓扑如下: 二.服务器IP配置信息 四台服务器均有VMware虚拟机实现,两台HA主机.两台web服务器.网络方式都设置为NAT模式 1.master:192.168.80.145 2.slaver:192.168.80.137 3.web1:192.168.80.144 4.web2:192.168.80.134 5.VIP:192.16

windows配置nginx实现负载均衡集群

网上大部分关于nginx负载均衡集群的教程都是linux环境.如何实现在windows配置nginx实现负载均衡集群一. windows上安装nginx1.下载nginx 网上大部分关于nginx负载均衡集群的教程都是linux环境.如何实现在windows配置nginx实现负载均衡集群 一. windows上安装nginx 1.下载nginx的windows版本 http://sysoev.ru/nginx/nginx-0.8.50.zip 2.把压缩文件解压至c盘根目录,并将文件夹重命名成n

在CentOS7上配置RabbitMQ 3.6.3集群与高可用

在CentOS7上配置RabbitMQ 3.6.3集群与高可用 集群概述 通过 Erlang 的分布式特性(magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收. 这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制.本文中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务. 环境

STORM在线业务实践-集群空闲CPU飙高问题排查(转)

最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并到了storm新版本中,在这篇文章里会介绍这个问题出现的场景.分析思路.解决的方式和一些个人的收获. 背景 首先简单介绍一下Storm,熟悉的同学可以直接跳过这段. Storm是Twitter开源的一个大数据处理框架,专注于流式数据的处理.Storm通过创建拓扑结构(Topolog

STORM在线业务实践-集群空闲CPU飙高问题排查

源:http://daiwa.ninja/index.php/2015/07/18/storm-cpu-overload/ 2015-07-18AUTHORDAIWA STORM在线业务实践-集群空闲CPU飙高问题排查有2条评论 STORM在线业务实践-集群空闲CPU飙高问题排查 最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并

solr安装-tomcat+solrCloud构建稳健solr集群

solr安装-tomcat+solrCloud构建稳健solr集群 2014-05-29 12:17 11985人阅读 评论(2) 收藏 举报  分类: solr(1)  版权声明:本文为博主原创文章,未经博主允许不得转载. solrCloud的搭建可以有两种方式:使用solr内嵌的jetty来搭建:使用外部web容器tomcat来搭建.对于使用jett来搭建参考solr官方的手册照着做肯定ok,下面我主要讲的是如何使用tomcat来搭建solrCloud. 废话不多说,开始我们的工作! 1.搭

Sealos安装Kubernetes v1.16.0 HA集群

Sealos安装Kubernetes v1.16.0 HA集群 github项目链接https://github.com/fanux/sealos 初始化master节点与worker节点 初始化脚本 init.sh #!/bin/bash # 在 master 节点和 worker 节点都要执行 # 安装 docker # 参考文档如下 # https://docs.docker.com/install/linux/docker-ce/centos/ # https://docs.docker

CentOS下Storm 1.0.0集群安装具体解释

本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装參考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本号是官方说已经有測

CentOS下Storm 1.0.0集群安装详解

本文环境如下: 操作系统:CentOS 6 32位 ZooKeeper版本:3.4.8 Storm版本:1.0.0 JDK版本:1.8.0_77 32位 python版本:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装参考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本是官方说已经有测试可以和Str

快速安装及配置MySQL Replication双主节点集群--及改变数据保存目录

规划主机: IP                   节点类型 192.168.1.100  master/slave 192.168.1.101  master/slave 192.168.1.102  slave 192.168.1.103  slave 操作系统均为centos6.5 原理图: 1. 分别安装mysql (192.168.1.100~103)   1)下载repo,wget http://repo.mysql.com/mysql-community-release-el6-