Storm 0.9安装指南

Storm 0.9.2安装指南

0 Storm0.9的亮点

引用网上的描述

“Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式,当前包含两种方式:原来的0mq传输,以及新的netty实现;在早期版本中(0.9.x之前的版本),Storm只支持0mq传输,由于0MQ是一个本地库(native library),对平台的依赖性较高,要完全正确安装还是有一定挑战性。而且版本之间的差异也比较大;Netty Transport提供了纯JAVA的替代方案,消除了Storm的本地库依赖,且比0MQ的网络传输性能快一倍以上;

“Storm 0.9.0.1版本提供了有助于调试和检测拓扑结构的新特性:logviewer(守护进程名)

你现在可以在Storm UI通过点击相应的Woker来查看对应的工作日志。有点类似于hadoop的那种日志查看机制。

安全性、认证以及授权已经并将继续成为将来的重要特点重点领域。Storm 0.9.0.1版本引入了一个可插拔的序列化元组API以及实现一个基于blowfish加密方法对敏感数据进行加密的用例。

1 依赖包安装

Storm依赖包有JDK, Python和Zookeeper。

1.1 JDK和Python

JDK和Python非常简单,在Yum库中就有安装包。

> yum install java-1.7.0-openjdk.i386

> yum install python.i386

1.2 ZooKeeper

Zookeeper需要手动下载安装。首先下载解压:

> wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

> tar -xzvf zookeeper-3.4.6.tar.gz

> chown -R root:root zookeeper-3.4.6

然后配置:

> cd zookeeper-3.4.6

> cp conf/zoo_sample.cfg conf/zoo.cfg

> export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.5

> export PATH=$ZOOKEEPER_HOME/bin:$PATH

最后启动服务器,并用客户端连上去测试:

> bin/zkServer.sh start

> bin/zkCli.sh -server 127.0.0.1:2181

2 Storm安装

> wget

http://mirrors.hust.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

> tar -xzvf apache-storm-0.9.2-incubating.tar.gz

在/conf/storm.yaml中配置Storm为单机模式,并且通过Netty通信(Storm 0.9新功能,否则还要按照ZeroMQ):

storm.zookeeper.servers:

- "localhost"

nimbus.host : "localhost"

storm.local.dir : "/var/storm"

ui.port : 8088

storm.messaging.transport :"backtype.storm.messaging.netty.Context"

storm.messaging.netty.server_worker_threads : 1

storm.messaging.netty.client_worker_threads : 1

storm.messaging.netty.buffer_size : 5242880

storm.messaging.netty.max_retries : 100

storm.messaging.netty.max_wait_ms : 1000

storm.messaging.netty.min_wait_ms : 100

启动Storm所有后台服务:

> bin/storm nimbus >/dev/null 2>&1 &

> bin/storm supervisor>/dev/null 2>&1 &

> bin/storm ui >/dev/null 2>&1 &

> bin/storm logviewer > /dev/null 2>&1 &

正常的访问日志应该是这样的:

访问UI http://localhost:8080 就能看到监控页面了。

3 常见问题

3.1 Python版本问题

注意:yum install的可能是低版本的Python,像我的CentOS 5.5给我装的就是2.3。后面启动storm时直接就报错了。可以使用这种方法安全地升级Python到2.7:

> wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz

> cd Python-2.7.8

> ./configure –prefix=/usr/local/python

> make

> make install

覆盖老版本文件(老文件要保留,否则Yum就没法用了!)

> mv /usr/bin/python /usr/bin/python_old

> ln -s /usr/local/python/bin/python /usr/bin

将/usr/bin/yum脚本中的第一行改为:#!/usr/bin/python_old

大功告成!现在敲Python命令进入的就是2.7版本了,并且Yum命令也好使!

3.2 ZooKeeper连接问题

当storm.yaml中nimbus和zookeeper的IP地址配置成虚拟机实际IP时,启动nimbus就会报错:KeeperErrorCode = ConnectionLoss for /storm … 都改为localhost就可以了。

其他问题还有:忘记启动ZooKeeper服务,没有关防火墙(service iptables stop)等。

时间: 2024-08-04 23:03:08

Storm 0.9安装指南的相关文章

消息通信库ZeroMQ 4.0.4安装指南

消息通信库ZeroMQ 4.0.4安装指南 一.ZeroMQ介绍 ZeroMQ是一个开源的消息队列系统,按照官方的定义,它是一个消息通信库,帮助开发者设计分布式和并行的应用程序. 首先,我们需要明白,ZeroMQ不是传统的消息队列系统(比如ActiveMQ.WebSphereMQ.RabbitMQ等).ZeroMQ可以帮助我们建立自己的消息队列系统,它只是一个库.ZeroMQ可以运行于带x86处理器或ARM处理器的机器上,支持40多种编程语言. 消息队列,从技术的角度来讲,是以先进先出FIFO算

storm 0.9.2单机性能测试

最近在使用storm做了一下数据处理性能测试. Topology结构:spout输出80万数据(csv格式):bolt1解析csv,拆分各信息段:bolt2按bolt1中某个字段汇总,累加记数后入库(入库触发频率:60s). 并行度配置:spout task(1)executor(3):bolt1 excutor/task(16): bolt2 excutor/task(8): workers(8):storm slot(8) 硬件配置:8CPU ,16G memory 处理性能大概1W5/s.

grid control 11.1.0.1 安装指南

废话少说,进入正题 系统版本 [[email protected] ~]# lsb_release -a LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch Distributor ID: RedHatEnterpriseServer D

Release Notes - Apache Storm - Version 0.9.2-incub

Release Notes - Apache Storm - Version 0.9.2-incubating Sub-task [STORM-207] - Add storm-starter as a module [STORM-208] - Add storm-kafka as a module [STORM-223] - Safe YAML Parsing [STORM-232] - ship JNI dependencies with the storm jar [STORM-233]

Storm命令详解

在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息.Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下: [html] view plain copy Commands: activate classpath deactivate dev-zookeeper drpc help jar kill list localconfvalue logvie

使用Storm实现实时大数据分析

摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战.Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析.CSDN在此编译.整理. 简单和明了,Storm让大数据分析变得轻松加愉快. 当今世界,公司的日常运营经常会生成TB级别的数据.数据来源囊括了互联网装置可以捕获的任何类型数据,网站.社交媒体.交易型商业数据以及其它商业环境中创建的数据.考虑到数据的生成量,实时处理成为了许多机

Strom 消息处理机制 中英对照翻译 (Storm如何保证消息被完全处理)

官方链接: http://storm.incubator.apache.org/documentation/Guaranteeing-message-processing.html What does it mean for a message to be “fully processed”? A tuple coming off a spout can trigger thousands of tuples to be created based on it. Consider, for ex

Storm 和JStorm

关于流处理框架,在先前的文章汇总已经介绍过Strom,今天学习的是来自阿里的的流处理框架JStorm.简单的概述Storm就是:JStorm 比Storm更稳定,更强大,更快,Storm上跑的程序,一行代码不变可以运行在JStorm上.直白的将JStorm是阿里巴巴的团队基于Storm的二次开发产物,相当于他们的Tengine是基于Ngix开发的一样.以下为阿里巴巴团队放弃直接使用Storm选择自行开发JStorm的原因: 阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm

Storm入门(十)Twitter Storm: Transactional Topolgoy简介

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.com/nathanmarz/storm/wiki/Transactional-topologies 概述 Storm通过保证每个tuple至少被处理一次来提供 可靠的数据处理 .关于这一点最常被问到的问