storm安装配置

系统环境

  • Cent OS 6.5
  • hadoop-2.5.0
  • zookeeper-3.4.5
  • storm-0.9.2

HADOOP Zookeeper 安装配置

一.配置安装

wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

tar zxvf apache-storm-0.9.2-incubating.tar.gz -C /home/hadoop/hadoop/src
[[email protected] src]$ ls -a
.  ..  flume-1.6.0  hadoop-2.5.0  hive-0.12.0-bin  hive-2.0.0  kafka-2.9.2  sqoop-1.4.6.bin  <span style="color:#ff0000;">storm-0.9.2-incubating</span>  zookeeper-3.4.5  zookeeper.out

  1. 配置    storm.yaml

    1. cd ./storm-0.9.2-incubating/conf/

      主要修改配置

      storm.zookeeper.servers:

      - "nameNode"  配置zookeeper

      - "dataNode1"

      - "dataNode2"

      nimbus.host: "nameNode" 配置nimbus主机地址

  2. 分配到子节点
    1. scp -r /home/hadoop/hadoop/src/storm-0.9.2-incubating [email protected]1:/home/hadoop/hadoop/src/
    2. scp -r /home/hadoop/hadoop/src/storm-0.9.2-incubating [email protected]2:/home/hadoop/hadoop/src/
  3. 启动Storm测试
    1. 在主节点 nimbus

      1. [[email protected] storm-0.9.2-incubating]$ ./bin/storm nimbus
        [[email protected] storm-0.9.2-incubating]$	./bin/storm ui  WEB页面服务
    2. 启动从节点 supervisor
      1. [[email protected] storm-0.9.2-incubating]$ 	./bin/storm supervisor
        [[email protected] storm-0.9.2-incubating]$ 	./bin/storm supervisor 
  1. 执行代码测试Storm集群

代码:链接:http://share.weiyun.com/bf3cd590b3962d9052dbaadb2c6d41fb (密码:f7NT)

将jar上传到主节点 nameNode nimbus主节点上

sftp> put D:/stormchone.jar .
Uploading stormchone.jar to /home/hadoop/hadoop/data/stormchone.jar
Skipping directory d:/Documents
  100% 5KB      5KB/s 00:00:00
D:/stormchone.jar: 5149 bytes transferred in 0 seconds (5149 bytes/s)

调用代码 JAR

[[email protected]<span style="color:#ff0000;">nameNode</span> storm-0.9.2-incubating]$<span style="color:#ff0000;"> ./bin/storm jar /home/hadoop/hadoop/data/stormchone.jar cn.canbot.storm.RunMain</span>
Running: /usr/java/jdk1.8.0_73/bin/java -client -Dstorm.options= -Dstorm.home=/home/hadoop/hadoop/src/storm-0.9.2-incubating -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/storm-core-0.9.2-incubating.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/json-simple-1.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/hiccup-0.3.6.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/logback-classic-1.0.6.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/jgrapht-core-0.9.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/netty-3.2.2.Final.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/log4j-over-slf4j-1.6.6.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/carbonite-1.4.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/disruptor-2.10.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/jline-2.11.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/servlet-api-2.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/kryo-2.21.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/httpclient-4.3.3.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/snakeyaml-1.11.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/clj-time-0.4.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/jetty-6.1.26.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/ring-servlet-0.3.11.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-exec-1.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/zookeeper-3.4.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-logging-1.1.3.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/ring-jetty-adapter-0.3.11.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/objenesis-1.2.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/core.incubator-0.1.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/netty-3.6.3.Final.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/servlet-api-2.5-20081211.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/chill-java-0.3.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/logback-core-1.0.6.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/curator-client-2.4.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/httpcore-4.3.2.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-codec-1.6.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/ring-devel-0.3.11.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/tools.logging-0.2.3.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/clj-stacktrace-0.2.4.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/minlog-1.2.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/joda-time-2.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/clojure-1.5.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/compojure-1.1.3.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/guava-13.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/jetty-util-6.1.26.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-lang-2.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/reflectasm-1.07-shaded.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/math.numeric-tower-0.0.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-fileupload-1.2.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/clout-1.0.1.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/slf4j-api-1.6.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/asm-4.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/commons-io-2.4.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/ring-core-1.1.5.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/tools.cli-0.2.4.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/curator-framework-2.4.0.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/lib/tools.macro-0.1.0.jar:/home/hadoop/hadoop/data/stormchone.jar:/home/hadoop/hadoop/src/storm-0.9.2-incubating/conf:/home/hadoop/hadoop/src/storm-0.9.2-incubating/bin -Dstorm.jar=/home/hadoop/hadoop/data/stormchone.jar cn.canbot.storm.RunMain
836  [main] INFO  backtype.storm.StormSubmitter - Jar not uploaded to master yet. Submitting jar...
861  [main] INFO  backtype.storm.StormSubmitter - Uploading topology jar /home/hadoop/hadoop/data/stormchone.jar to assigned location: storm-local/nimbus/inbox/stormjar-39e6739a-9741-4443-8e9f-f3d1693d976a.jar
872  [main] INFO  backtype.storm.StormSubmitter - Successfully uploaded topology jar to assigned location: storm-local/nimbus/inbox/stormjar-39e6739a-9741-4443-8e9f-f3d1693d976a.jar
873  [main] INFO  backtype.storm.StormSubmitter - Submitting topology demotopo in distributed mode with conf {"topology.acker.executors":0,"topology.workers":4,"topology.debug":true}
952  [main] INFO  backtype.storm.StormSubmitter - Finished submitting topology: demotopo

当启动Storm以后由于代码中设置 woker 数量为4个 ,Storm内置负载均衡 我这里Storm子节点有 两台。

JAVA源代码中设置

fileWriter=new FileWriter("/home/hadoop/hadoop/tmp/storm/data/"+UUID.randomUUID());
<span style="white-space:pre"></span><pre name="code" class="java" style="font-size: 14px; line-height: 21px;"><span style="background-color: rgb(255, 0, 0);">/home/hadoop/hadoop/tmp/storm/data/  </span><span style="background-color: rgb(255, 255, 255);"> 指定数据写入地址</span>
<span style="background-color: rgb(255, 255, 255);">动态查看 Storm 写入数据</span>
[[email protected] storm]$ tail -f datace85f944-3586-499e-9cd7-52d20409290a 
</pre><pre>

Storm集群配置

待更新····

时间: 2024-09-30 16:41:20

storm安装配置的相关文章

storm0.9.1 集群环境安装配置

Storm安装配置 三台机器  131,132,133 需要安装 jdk,python,autoconf-2.64,zeromq-3.2.2,jzmq 安装jdk和python不详细说. 1  安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 上传到lunix上的工作目录 比如  /home/bigdata/ 解压  tar -xvf   autoconf-2.6

Storm系列(一)集群的安装配置

安装前说明: 必须先安装zookeeper集群 该Storm集群由三台机器构成,主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST   1.修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=chenx01   2.修改主机和IP的映射关系 vim /etc/hosts 127.0.0.1 loca

Storm on Yarn 安装配置

1.背景知识 在不修改Storm任何源代码的情况下,让Storm运行在YARN上,最简单的实现方法是将Storm的各个服务组件(包括Nimbus和Supervisor),作为单独的任务运行在YARN上,当前比较有名的“Storm On YARN”实现是由yahoo!开源的,它基本实现了上述描述的功能,下面具体进行说明:(1) YARN-Storm Client提供了一系列Shell命令供用户控制YARN上的Storm服务,比如构建一个Storm集群命令如下:storm-yarn launch <

Storm集群的安装配置

Storm集群的安装分为以下几步: 1.首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 2.释放压缩包 3.修改storm.yaml添加集群配置信息 4.使用storm脚本启动相应服务并查看服务状态 5.通过web查看storm集群的状态 安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好 Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK 部分需要依赖Python,红帽系列L

Storm 集群安装配置

本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看“问题与解决”一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题的邮件. 以下是安装 Storm 的步骤:

Storm入门教程 第三章 Storm安装部署步骤[转]

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 3.1 Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类似

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

Storm安装部署

1.修改/etc/hosts 172.16.3.7      nimbus 172.16.3.8      supervisor1 172.16.3.9      supervisor2 172.16.3.10     supervisor3 2.集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus.supervisor之间协调 tar xzvf zookeeper-3.4.3.tar.gz mv zookeeper-3.4.3 ~/platform/zookeepe

1.Storm 安装手册和提交Topology

目录 (一)搭建单机storm集群 一.下载所需要的资源 二.资源解压 三.安装JDK 四.安装依赖的库文件 五.安装ZMQ 六.安装jzmq 七.启动zookeeper 八.启动storm 九.在UI端访问 十.编译storm-start jar包 十一.storm-starter源码导出 十二.提交Topology (二)搭建多机storm集群 一.基本设置 二.修改配置文件 三.启动集群 四.在UI端口访问 五.提交Topology 附一 Storm 安装手册 (一)搭建单机storm集群