storm文档(4)----开发环境环境搭建

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41519053

源地址:http://storm.apache.org/documentation/Setting-up-development-environment.html

本文大体介绍了如何搭建Storm开发环境。总的来说,步骤如下:

1、下载storm release版本。解压缩,然后将解压缩版本的/bin目录放在你的环境变量PATH中。

2、远程集群上topologies的启动与关闭,依赖于~/.storm/storm.yaml中的集群信息。

更多细节描述请看下面。

开发环境是怎样的?

Storm拥有两种操作模式: 本地模式以及远程模式。 本地模式中, 你完全可以在本地机器上的进程内开发和测试topologies。 远程模式中, 需要向集群提交topologies。

storm开发环境的必备依赖必须安装,这样你才能在本地模式下开发测试Storm topologies,打包topologies并部署在远程Storm集群上。

先浏览一下你的机器与远程集群之间的关系。集群是由名为“Nimbus”的节点所控制。你的机器可以和Nimbus节点通信,并将代码(通常是jar包)和topologies提交给集群以便执行, Nimbus负责在集群内分发代码,并分配workers去运行topology。你的机器使用名为storm的命令行客户端与Nimbus进行通信。storm客户端只能用于远程模式,而在本地模式的开发与测试中不能使用。

本地安装Storm release版本

如果你想从你的机器向远程集群提交topologies,你需要在本地安装Storm release版本。安装Storm release版本可以使你利用storm客户端与远程集群通信。要在本地安装Storm,需要从这里下载release版本,并在你的机器上解压它。 然后将解压版本的bin/目录加到环境变量PATH中去,这可以保证bin/storm脚本是可执行的。

在本地安装storm release版本只是为了可以与远程集群通信。若是在本地模式下开发测试topologies,建议你使用Maven,将storm作为你项目的一个dev依赖。更多关于Maven的信息可以阅读Maven

开始以及关闭远程集群中的topologies

前面在你的机器上安装storm客户端的步骤是用来和远程集群通信。现在你需要做的就是通知客户端---你想与哪个storm集群交互。要做这些的话, 你需要将控制节点的主机地址放在~/.storm/storm.yaml文件中,就像下面一样:

nimbus host: "123.45.678.890"

如果你在AWS上部署storm集群,你可以使用storm-deploy项目,它可以自动的配置你的~/.storm/storm.yaml文件。 可以手工使用“attach”命令行连接storm集群,就像这样:

lei run :deploy  --attach --name mystormcluster

更多有关信息可以查看storm-deploywiki

时间: 2024-08-01 07:30:10

storm文档(4)----开发环境环境搭建的相关文章

storm文档(12)----自己搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41802543 ubuntu下  storm  安装步骤 安装storm之前首先需要安装一些依赖库: zookeeper.JDK 6.python2.6.6.jzmq.zeromq 这些库所需要的依赖库不再一一笔述. 以下为具体安装过程: 一.安装JDK zookeeper要求安装JDK 6或更高版本( 目前最新稳定版本为JDK8), 但是由于storm要求安装JDK 6, 因此

storm 文档(3)----入门指导

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41517897 源地址:http://storm.apache.org/documentation/Tutorial.html 本文主要讲述了如何创建Storm topologies以及如何将它们部署在Storm集群中.Java是主要使用的语言,但是依然使用少量Python例子证明了Storm的多语言特性. 初步配置: 本文使用的例子源自storm-start项目.建议你复制这个

storm文档(6)----storm手册目录

源地址:http://storm.apache.org/documentation/Documentation.html storm基础知识 l  Javadoc l  概念 l  配置 l  保证消息处理机制 l  容错性能 l  命令行客户端 l  理解storm topology并行机制 l  FAQ trident 对storm来说,trident是可选接口.它提供了准确的一次性处理.事务性数据存储保持以及一系列通用数据流分析操作. l  Trident指导-----基本概念及浏览 l 

机房收费系统个人重构版:透过文档谈文档驱动开发

[背景] 机房收费系统个人重构已接近尾声,在最后阶段自己去补文档以及其中涉及到的图!经过将近一周的奋战将其完善,并最终通过师父的验收.透过这次机房重构写文档和画图,自己感触颇深,在此与大家共享. [文档驱动下软工开发流程] ·软工简介: 从上世纪六十年代的软件危机之后,诞生了软件工程.此后随着人们需求越来越高,导致系统功能复杂度越来越大!要想解开发这样大系统,像之前单个人开发是不可能完成,毫无疑问合作开发就是很好解决方案:但随之而来的是如何控制许多人按照一定的规范在一定时间内将系统按照一定标准完

使用freemarker模板引擎生成word文档的开发步骤

1.准备模板文档,如果word文档中有表格,只保留表头和第一行数据:2.定义变量,将word文档中的变量用${var_name}替换:3.生成xml文件,将替换变量符后的word文档另存为xml文件:4.格式化xml文件,使用工具(XmlFormat.exe),自动生成格式化后的xml文件:5.美化xml文件,${}中的内容仅保留变量名:6.表格,将表格中的行数据用相应的变量替换,在第一行数据的收尾加标签:<#list tbl1 as tbl1></#list> ,注意:表格可嵌套

转自 阿里云技术文档的 centos + PHP 环境 搭建

产品亮点 1.基于阿里云CentOS7.2镜像 2.采用yum方式安装,软件安装均为默认目录,未作任何修改. 3.采用经典LAMP组合,拓展性强,资源丰富,解决方案较多 4.附带PhpMyadmin和FTP,并已配置用户,开通即可使用 产品说明 产品亮点: 1.基于阿里云CentOS7.2镜像 2.采用yum方式安装,软件安装均为默认目录,未作任何修改 3.采用经典LAMP组合,拓展性强,资源丰富,解决方案较多 4.附带PhpMyadmin和FTP,并已配置用户,开通即可使用 使用方法: 1.使

storm文档(11)----搭建storm集群

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41684717 源地址:http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 本文叙述了storm集群搭建和运行步骤.如果你打算在AWS上进行的话,可以使用storm-deploy项目.storm-deploy在EC2上完全自动进行下载.配置.以及storm集群的安装等步骤.它也为你配置了Gan

storm文档(5)----创建storm新项目

源地址:http://storm.apache.org/documentation/Creating-a-new-Storm-project.html 本文主要介绍如何配置开发的storm项目.步骤如下: 1.将storm jar包加到classpath中 2.如果使用多语言特性,将多语言实现的目录加到classpath中 下面跟着一块看一下在Eclipse环境中如何配置storm-starter项目. 将Storm jars包加到classpath中 你需要将storm jars包加到你的cl

storm文档(7)----基本概念

转载请注明出处:http://blog.csdn.net/beitiandijun/article/details/41546195 源地址:http://storm.apache.org/documentation/Concepts.html 本文介绍了storm的主要概念,并且给出相关链接供你查看更多信息.本文讨论的概念如下所示: 1.Topologies 2.Streams 3.Spouts 4.Bolts 5.Stream Grouping 6.Reliability 7.Tasks 8