storm安装与配置

storm依赖的软件

ZeroMQ 2.1.7 是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。

JZMQ   底层消息队列

jdk 1.6

Python

ZeroMQ安装:

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

sudo make install

JZMQ安装:

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure

make

sudo make install

安装时可能的报错及解决办法:

1、出现错误:configure: error: Unable to find a working C++ compiler

需要安装g++编译器:

sudo yum install gcc-c++

2、出现错误:configure: error: cannot link with -luuid, install uuid-dev.

需要安装软件包uuid-devel和libuuid-devel:

sudo yum install uuid-devel

sudo yum install libuuid-devel

3、出现错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.

需要安装libtool:

sudo yum install libtool

可能用到的命令:

yum install -y gcc-c++.x86_64

yum install -y uuid-devel.x86_64

yum install -y libuuid-devel.x86_64

yum install -y libtool.x86_64

yum install -y git.x86_64

下载解压:

wget https://dl.dropboxusercontent.com/s/tqdpoif32gufapo/storm-0.9.0.1.tar.gz

tar xzvf ./storm-0.9.0.1.tar.gz

conf/storm.yaml配置文件中增加,以空格开头

storm.zookeeper.servers:

- "master"

storm.zookeeper.port: 2181 【默认】

nimbus.host: "master"

storm.local.dir: "/opt/soft/storm-0.9.0.1/data"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

java.library.path: /usr/local/lib:/opt/local/lib:/usr/lib 【默认】

ui.port: 8081

storm.zookeeper.servers这是一个为Storm集群配置的Zookeeper集群的主机列表

storm.local.dirNimbus和Supervisor守护程序需要一个本地磁盘目录存储小量状态(像jars,confs,其它),每台机器都创建这些目录,赋可写权限

java.library.path这是Storm使用的本地库(ZeroMQ和JZMQ)载入路径。大多数安装,默认路径"/usr/local/lib:/opt/local/lib:/usr/lib"就行,所以你可能不需要配置它。

supervisor.slots.ports每一台worker机器,你用这个配置来指定多少workers运行在那台机。每个worker使用单一端口接收消息,并且这个设置定义哪个端口是打开的且可以使用。如果你定义5个端口,那么Storm将在这台机分配5个worker运行。

时间: 2024-11-10 13:05:06

storm安装与配置的相关文章

Storm单机版的安装与配置

在配置一个Storm环境之前,首先需要一个Linux操作系统.常见的linux系统有CentOS.Red Hat.Ubuntu等,我使用的是Ubuntu 14.04.系统尽量是最新的,对于旧版本的ubuntu,软件源支持不太好,apt-get install会发生错误 总的来说,storm安装配置需要如下几个步骤: 安装java jdk 安装python 安装zookeeper 安装zeromq, jzmq 安装storm 安装Java JDK 什么是JDK?JDK(Java Developme

storm安装配置

系统环境 Cent OS 6.5 hadoop-2.5.0 zookeeper-3.4.5 storm-0.9.2 HADOOP Zookeeper 安装配置 一.配置安装 wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz tar zxvf apache-storm-0.9.2-incubating.tar.gz -C

Storm入门教程 第三章 Storm安装部署步骤[转]

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 3.1 Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类似

Storm安装部署

1.修改/etc/hosts 172.16.3.7      nimbus 172.16.3.8      supervisor1 172.16.3.9      supervisor2 172.16.3.10     supervisor3 2.集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus.supervisor之间协调 tar xzvf zookeeper-3.4.3.tar.gz mv zookeeper-3.4.3 ~/platform/zookeepe

web storm使用和配置

官网:http://www.jetbrains.com/webstorm/ webStorm,File=>setting=>JavaScript-Libraries How WebStorm Works: Completion for JavaScript Libraries One of the essential features of WebStorm’s editor is code completion. The way it is implemented in WebStorm i

1.Storm 安装手册和提交Topology

目录 (一)搭建单机storm集群 一.下载所需要的资源 二.资源解压 三.安装JDK 四.安装依赖的库文件 五.安装ZMQ 六.安装jzmq 七.启动zookeeper 八.启动storm 九.在UI端访问 十.编译storm-start jar包 十一.storm-starter源码导出 十二.提交Topology (二)搭建多机storm集群 一.基本设置 二.修改配置文件 三.启动集群 四.在UI端口访问 五.提交Topology 附一 Storm 安装手册 (一)搭建单机storm集群

Storm安装及使用

一:安装storm (一)安装一个zookeeper集群 注意:需要先启动zookeeper集群才可以,不然后面容易出错 (二)上传storm的安装包,解压 (三)修改配置文件storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers: - "hadoopH5" - "hadoopH6" - "hadoopH7" #nimbus所在的主机名 nimbus.host: "hadoopH5&q

Windows下MySQL下载安装、配置与使用

用过MySQL之后,不论容量的话,发现比其他两个(sql server .oracle)好用的多,一下子就喜欢上了.下面给那些还不知道怎么弄的童鞋们写下具体的方法步骤. (我这个写得有点太详细了,甚至有些繁琐,有很多步骤在其他的教程文档里都是省略掉的,但我还是要写出来,因为我当时走了很多弯路,我希望你们能够避免我走的这些弯路.当然,知道同学的可以略过,选择你想知道的地方看) 第一大步:下载.(不需要注册也可以下载,直接点下面的no thanks) a.俗话说:“巧妇难为无米之炊”嘛!我这里用的是

Centos 7.3下 Linux For SQL Server安装及配置介绍

Centos 7.3下Linux For SQL Server安装及配置介绍 说到SQL Server服务,我们大家都知道是Microsoft公司的数据库服务,当然说到数据库,现在主要分为三大商:1:Oracle.2:Msql Server.3:Mysql:三种数据库在当下环境受到不了不同程度的关注:比如oracle主要应用到大型的商业比较多,比如银行:SQL Server主要在常见的互联网公司使用:mysql主要应用于小型的企业或者服务商使用:当然从费用上来说,Oracle是最贵的,也是最为稳