Strom开发配置手册

一:Storm集群搭建

1.本次开发使用的是storm0.9.3

2.Storm0.9.3集群搭建:

1)storm集群角色包含集群主节点Nimbus;集群从节点Supervisor

2)集群安装:先安装zookeeper集群;上传storm安装包到服务器;修改配置文件;启动集群

3)集群安装前,需要修改主机名称配置IP:vi/etc/hosts

关闭服务器之间的防火墙:

执行如下命令:


service iptables save

service iptables stop

chkconfig iptables off

service ip6tables save

service ip6tables stop

chkconfig ip6tables off

4)Zookeeper安装过程:

1.上传zk安装包

2.解压

3.配置(先在一台节点上配置)

3.1添加一个zoo.cfg配置文件

$ZOOKEEPER/conf

mv zoo_sample.cfg zoo.cfg

3.2修改配置文件(zoo.cfg)

dataDir=/bigdata/zookeeper-3.4.5/data

server.1=bigdata227:2888:3888

server.2=bigdata228:2888:3888

server.3=bigdata229:2888:3888

3.3在(dataDir=/bigdata/zookeeper-3.4.5/data)创建一个myid文件,里面内容是server.N中的N(server.2里面内容为2)

server那个点之后的数字是几,就在myid文件中写入几(比如server.1=bigdata227:2888:3888),那么在bigdata227,这台服务器中的zk文件目录下的data文件夹下创建的myid文件内容就是1

3.4将配置好的zk拷贝到其他节点

scp -r /bigdata/zookeeper-3.4.5/ bigdata228:/bigdata/

scp -r /bigdata/zookeeper-3.4.5/ bigdata229:/bigdata/

3.5注意:在其他节点上一定要修改myid的内容

在bigdata228应该讲myid的内容改为2 :在bigdata228,这台服务器中的zk文件目录下的data文件夹下创建的myid文件内容就是2

在bigdata229应该讲myid的内容改为3 :在bigdata229,这台服务器中的zk文件目录下的data文件夹下创建的myid文件内容就是3

4.启动集群

分别启动zk

./zkServer.sh start

使用./zkServer.sh status 可以查看启动zk的启动状态

5)上传storm0.9.3 解压

6)Cd到/bigdata/apache-storm-0.9.3/conf,修改storm.yaml配置文件

增加storm.zookeeper.server:

Nimbus.host

然后保存退出,把storm文件传至bigdata228、bigdata229两台主机

7)启动集群:

先启动nimbus:

Cd到 nimbus(bigdata227)  storm的bin目录执行:

./storm nimbus 1>/dev/null 2>&1 &

还可以启动一个web服务进程

./storm ui 1>/dev/null 2>&1 &

然后切换到bigdata228、bigdata229

启动各节点中的supervisor:

Cd 到storm的bin 目录 执行:

./storm supervisor 1>/dev/null 2>&1 &

到此storm集群搭建完成!!

二:stormDemo项目说明

数据库

实时表:

Day表:

该demo程序是简单的一个day天的归集统计,归集电压的一天总和,后续存储过程开发可以再次基础上进行

项目主要的数据源是从数据库中读取:

Storm包中是对从数据库中读取的数据进行业务逻辑处理

类的说明:

RandomSpout是获取数据源并传递给DayBolt,以后存储过程可以设计MonthBolt、YearBolt等等

类TopoMain类是组合类,也是主类,spout和bolt的设置都在这里面

注意:

//单机开发模式

LocalCluster cluster = new LocalCluster();

cluster.submitTopology("demotopo", conf, topo);

//集群模式:提交topo到storm的集群中

//StormSubmitter.submitTopology("demotopo", conf, topo);

如果是单机开发模式,则可以像运行Java application一样在本机运行

如果想部署到集群,首先把项目打成jar包,传到nimbus所在的服务器,然后切换到storm的bin目录,执行:./storm jar  /bigdata/xxx.jar  cn.zhangshitong.TopoMain  前面是jar包的位置,后面是jar包中的主类

Nimbus就会把任务分发给supervisor了

时间: 2024-10-01 07:36:29

Strom开发配置手册的相关文章

API接口开发 配置、实现、测试

Yii2 基于RESTful架构的 advanced版API接口开发 配置.实现.测试 环境配置: 开启服务器伪静态 本处以apache为例,查看apache的conf目录下httpd.conf,找到下面的代码 LoadModule rewrite_module modules/mod_rewrite.so 将其前面的#去掉,如果没有找到则添加进去. 找到一下代码 <Directory "C:/phpStudy/Apache/cgi-bin"> AllowOverride

nginx1.9.4 +php 5.5.29+yii2.0配置手册

nginx1.9.4 +php 5.5.29+yii2.0配置手册 目录 一.????php5.5.29安装配置????2 二.????nginx1.9.4安装配置????2 三.????yii2.0安装配置????2 1.????基础版安装????2 2.????高级版安装????8 四.????问题????8 五.????参考资料????8 六.????附注????8 ? ? ? php5.5.29安装配置 php下载地址:http://php.net/downloads.php 下载php

SVN Server环境安装配置手册

SVN Server环境安装配置手册_百度文库 http://wenku.baidu.com/link?url=923bv1olSkznh1gWd7Gqoxxwj18IHIlTXcEbNiPSLM5H32k93UtQ22rAVppNIlVv89ru4E1cPFe1yESSEkSsR4NfDMMRgpA2d3GI_KcV37m

Cocos2d-x 3.x 全平台新手开发配置教程

本文为Cocos2d-x 3.x 全平台(Android,iOS)新手开发配置教程攻略,希望对大家有所帮助.因为这篇文章是面对新手的.所以有些地方会啰嗦一些,请勿见怪.如果教程中有错误,欢迎指正.如果在配置开发平台时还遇到问题,欢迎大家讨论. 本文所使用的环境是PC(Win7),HTC G18,MacBook Air 以及 Mini iPad. 一.通用准备工作 1.安装Cocos2d-x 3.1 在Cocos2d官网上下载Cocos2d-x 3.1引擎,下载后解压缩. 2.安装Eclipse与

Nutch搜索引擎(第4期)_ Eclipse开发配置

1.环境准备 1.1 本期引言 前三期分别介绍了Nutch与Solr在Linux上面的安装,并做了简单的应用,这一期从开发的角度进行,因为我们日常最熟悉的开发环境是Windows,所以本期详细介绍Windows平台的Nutch二次开发所需要进行的配置安装.当我们开发好之后,最后在部署到Linux环境中. 为了方便以后Nutch开发以及软件安装的管理,我们对开发环境配置进行如下安排: E:/(盘符) |----cygwin |----NutchWorkPlat |----ant |----solr

PIX配置手册四(icmp全局配置)

PIX配置手册四(icmp全局配置) PIX默认允许直连的设备ping通pix的接口,但不允许任何穿越pingPIX的接口. 穿越PIX的间接地ping,可以用acl来控制. 如果不想让别人pingPIX的接口,pix可以去ping别人,可以用icmp来控制. 用以下命令: icmp deny any echo outside   阻止pix外部进来的eho流量,防止别人ping自己 icmp permit any outside      允许外部进来的任何icmp流量,以保证自己可以去pin

微信开发配置文档

微信开发配置文档 请求SDK接口 1, 绑定域名 公众号设置 菜单 --> 功能设置 绑定域名 : http://www.xxxxx.com2, 记录应用ID : AppID(应用ID)wxd9c94eba232190a1 应用密码: 8ff9f1fd268bdb643fc27354811d973a3, 找到开发者工具 --> 开发者文档 -->微信网页开发 -->JS-SDK说明文档 页面底部 下载 sample.php 示例DEMO 打开sample.php 设置 APPID

jboss7开发配置指南

1      Jboss7下载与安装 1.1     官方下载 路径:http://www.jboss.org/jbossas/downloads,目前最新稳定版本为7.1.1 final,分别有zip和gz两个版本,本文介绍xp下的zip版本. 1.2     目录介绍与启动 把下载的zip包解压到相关目录,如目录E:/dev_tools/jboss7/,jboss7的目录结构与之前jboss其他版本大为不同,名称非常陌生,以下图所示: 1.2.1  目录介绍 目录  描述 bin Unix

NetScaler SDWAN 详细配置手册

Steven大哥写的NetScaler SD-WAN配置手册,欢迎下载! http://pan.baidu.com/s/1eSGEHNk