Storm集群搭建及测试

安装Storm

步骤:

A、搭建ZooKeeper集群

B、安装storm依赖的软件

C、安装及配置Storm

1、搭建ZooKeeper集群

2、安装storm依赖的软件

ZeroMQ 2.1.7 是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。

JZMQ   底层消息队列

Java 6

Python 2.6.6

unzip //用于解压可以不安装

ZeroMQ安装:

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

sudo make install

JZMQ安装:

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure

make

sudo make install

安装时可能的报错及解决办法:

1、出现错误:configure: error: Unable to find a working C++ compiler

需要安装g++编译器:

sudo yum install gcc-c++

2、出现错误:configure: error: cannot link with -luuid, install uuid-dev.

需要安装软件包uuid-devel和libuuid-devel:

sudo yum install uuid-devel

sudo yum install libuuid-devel

3、出现错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.

需要安装libtool:

sudo yum install libtool

可能用到的命令:

yum install -y gcc-c++.x86_64

yum install -y uuid-devel.x86_64

yum install -y libuuid-devel.x86_64

yum install -y libtool.x86_64

yum install -y git.x86_64    //JZMQ安装使用的工具git

安装Storm

下载解压:

wget https://dl.dropboxusercontent.com/s/tqdpoif32gufapo/storm-0.9.0.1.tar.gz

tar xzvf ./storm-0.9.0.1.tar.gz

conf/storm.yaml配置文件中增加,以空格开头:

storm.zookeeper.servers:

- "master"

storm.zookeeper.port: 2181 【默认】

nimbus.host: "master"

storm.local.dir: "/opt/soft/storm-0.9.0.1/data"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

java.library.path: /usr/local/lib:/opt/local/lib:/usr/lib 【默认】

ui.port: 8081

参数解释

storm.zookeeper.servers:这是一个为Storm集群配置的Zookeeper集群的主机列表

storm.local.dir:Nimbus和Supervisor守护程序需要一个本地磁盘目录存储小量状态(像jars,confs,其它),每台机器都创建这些目录,赋可写权限

java.library.path:这是Storm使用的本地库(ZeroMQ和JZMQ)载入路径。大多数安装,默认路径"/usr/local/lib:/opt/local/lib:/usr/lib"就行,所以你可能不需要配置它。

supervisor.slots.ports: 每一台worker机器,你用这个配置来指定多少workers运行在那台机。每个worker使用单一端口接收消息,并且这个设置定义哪个端口是打开的且可以使用。如果你定义5个端口,那么Storm将在这台机分配5个worker运行。

Storm启动测试

Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。

Nohup挂到后台执行

1)Nimbus

在master机器的supervision下运行命令”bin/storm nimbus”

2)Supervisor

在每个worker机器的supervision下运行命令”bin/storm supervisor”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程

3)UI

运行supervision下的命令”bin/storm ui”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。

补充

主节点

挂到后台启动

nohup    ./storm    nimbus  &

启动ui

nohup   ./storm  ui  &

启动ui就可以通过浏览器访问了

http://master:8081

可以在nimbus上再启动一台supervisor

slavel 启动

nohup  ./storm  supervisor  &

时间: 2024-12-26 18:21:32

Storm集群搭建及测试的相关文章

Hadoop2.6.5分布式集群搭建和测试

vmware虚拟机环境:                 192.168.60.128    master                 192.168.60.129    node129                 192.168.60.130    node130 1.修改每台虚拟机的/etc/sysconfig/network和/etc/hosts #修改hostname:vim /etc/sysconfig/network #修改hosts内容如下:vim /etc/hosts  

storm集群搭建

安装环境: 虚拟操作系统:centOS7 64位  2台 IP地址为192.168.1.10   192.168.1.11 内存:1GB内存 zookeeper版本 :3.4.6 Storm版本:0.9.6 安装步骤: 1.安装JDK等步骤省略. 1.下载storm安装包,解压. 1.配置/apache-storm-0.9.6/conf/storm.yaml配置文件 # Licensed to the Apache Software Foundation (ASF) under one # or

codis3.2.1集群搭建与测试

Codis是一套用go语言编写的,为了应对高并环境下的redis集群软件,原理是对一个redis key操作前,先把这个key通过crc32算法,分配到不同redis的某一个slot上,实现并发读写功能.而且能通过zookeeper调用redis-sentinel来实现故障切换功能.现在最新版本是3.2.1,依托于redis3.2.9开发出来. 优点:实现高并发读写,数据一致性高. 缺点:性能有较大损耗,故障切换无法保证不丢key,无法进行读写分离. 架构介绍 1.需要用到的软件有: codis

Spark集群搭建与测试(DT大数据梦工厂)

Spark流行的两种文件存储方式:1.Hadoop的HDFS:2.H3云存储 tux yarn  +HDFS是未来3.5年的趋势 看你用的是bash,可能ubuntu里的bash不会自动source /etc/profile,所以你将那条export命令放在~/.bashrc里试试 计算的集群和数据存储的集群不在同一个集群上的话,性能不高不可接受,tux yarn解决了这个问题,它用JAVA写的 ubuntu 设置root登录见http://jingyan.baidu.com/article/1

一:Storm集群环境搭建

第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境 第二:节点环境查看 第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试 第四:zookeeper集群环境搭建第五:Storm集群环境搭建[1

storm文档(11)----搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41684717 源地址:http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 本文叙述了storm集群搭建和运行步骤.如果你打算在AWS上进行的话,可以使用storm-deploy项目.storm-deploy在EC2上完全自动进行下载.配置.以及storm集群的安装等步骤.它也为你配置了Gan

Storm集群环境搭建

安装Storm之前,需要先安装好Java与ZooKeeper,Java与ZooKeeper的安装此处不做过多讲解,Storm的安装步骤如下: 1.下载Storm 要在您的计算机上安装Storm框架,请访问以下链接并下载最新版本的Storm http://storm.apache.org/downloads.html,此处使用的Storm版本为1.1.0. 2.上传解压Storm 将下载的apache-storm-1.1.0.tar.gz上传到centos01节点的/opt/softwares目录

Spark3000门徒第六课精通Spark集群搭建总结

今晚听了王家林老师的第六课精通Spark集群搭建和测试,课后作业是:搭建自己的spark环境并成功运行pi,我的总结如下: 1 硬件环境: 至少8GB内存,推荐金士顿内存,虚拟机推荐Ubuntu kylin版本,可以安装各种办公软件包括搜狗输入法.上网方式:Nat,root权限登录,避免权限问题 2.软件环境: RedHat 6.4  spark 1.6.0   hadoop 2.6.0   scala 2.11.8 3 /etc/hosts ip-hostname对应关系 spark.even

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

作者:周志湖 微信号:zhouzhihubeyond 本节为下一节Kafka与Spark Streaming做铺垫 主要内容 1.kafka 集群搭建 1. kafka 集群搭建 kafka 安装与配置 到下面的地址下载:Scala 2.10 - kafka_2.10-0.8.2.1.tgz http://kafka.apache.org/downloads.html 下载完成后,使用命令 tar -zxvf kafka_2.10-0.8.2.1.tgz 解压,解压后的目录如下 进入config