【Storm一】torm安装部署

storm安装部署

解压storm安装包

$ tar -zxvf apache-storm-1.1.0.tar.gz -C /usr/local/src

修改解压后的apache-storm-1.1.0.tar.gz文件名称为storm-1.1.0

$ mv apache-storm-1.1.0 storm-1.1.0

在/usr/local/src/storm-1.1.0/目录下创建data文件夹

$ mkdir data

修改配置文件

  • storm.yaml
  • 设置Zookeeper的主机名称

    storm.zookeeper.servers:

    - "master"

    - "slave1"

    - "slave2"

  • 设置主节点的主机名称

    nimbus.seeds: ["master"]

  • 设置Storm的数据存储路径

    storm.local.dir: "/usr/local/src/data"

  • 设置Worker的端口号

    supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

    - 6703

配置环境变量

export STORM_HOME=/usr/local/src/storm-1.1.0

export PATH=$PATH:$STORM_HOME/bin

变量环境生效:source ~/.bashrc

分发配置好的Storm安装包

$ scp storm-1.1.0.tar.gz slave2:/usr/local/src/

启动集群

后台启动 nimbus

[[email protected] storm-1.1.0]$ bin/storm nimbus &

[[email protected] storm-1.1.0]$ bin/storm nimbus &

[[email protected] storm-1.1.0]$ bin/storm nimbus &

后台启动 supervisor

[[email protected] storm-1.1.0]$ bin/storm supervisor &

[[email protected] storm-1.1.0]$ bin/storm supervisor &

[[email protected] storm-1.1.0]$ bin/storm supervisor &

启动 Storm ui

[[email protected] storm-1.1.0]$ bin/storm ui &

通过浏览器查看集群状态,访问storm webUI

链接

原文地址:https://www.cnblogs.com/screen/p/9074883.html

时间: 2024-08-13 16:04:09

【Storm一】torm安装部署的相关文章

Storm介绍及安装部署

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

Storm笔记整理(三):Storm集群安装部署与Topology作业提交

[TOC] Storm分布式集群安装部署 概述 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是"MapReduce jobs",在Storm上你运行的是"topologies"."Jobs"和"topologies"是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(wo

1.1 Storm集群安装部署步骤

安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤,需要说明的是下面的zookeeper集群安装方法也可以参考此文. 不管你用什么方法,

大数据学习之Storm实时计算概述及安装部署33

一:Storm概述 网址:http://storm.apache.org/ ApacheStorm是一个免费的开源分布式实时计算系统.Storm可以轻松可靠地处理无限数据流,实现Hadoop对批处理所做的实时处理.Storm非常简单,可以与任何编程语言一起使用,并且使用起来很有趣! Storm有许多用例:实时分析,在线机器学习,连续计算,分布式RPC,ETL等.风暴很快:一个基准测试表示每个节点每秒处理超过一百万个元组.它具有可扩展性,容错性,可确保您的数据得到处理,并且易于设置和操作. Sto

Storm集群安装详解

Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器上执行. 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1.   Strom集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工

Storm入门教程 第三章 Storm安装部署步骤[转]

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 3.1 Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类似

storm之2:安装部署

一.storm伪分布式安装 (一)环境准备 1.OS:debian 7 2.JDK 7.0 (二)安装zookeeper 1.下载zookeeper并解压 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz tar -zxvf zookeeper-3.4.6.tar.gz 2.准备配置文件 cd conf cp zoo_sample.cfg zoo.cfg 3.启动zookee

3_HA介绍和安装部署

一.hadoop 2.x产生背景 1.hadoop 1.x中hdfs和mr在高可用和扩展性等方面存在问题.2.hdfs存在的问题:NN单点故障,难以应用于在线场景:NN压力过大,内存受限,影响系统扩展性.3.mr存在的问题:1.x难以支持除mr之外的计算框架,如spark和storm(mr一般得到结果时间较长,storm和spark可以很快得到结果). 二.hadoop 1.x与hadoop2.x区别 1.2.x由hdfs.mr和yarn三个分支构成,yarn是分布式的资源管理器(资源包括内存,