Storm单机版的安装与配置

  在配置一个Storm环境之前,首先需要一个Linux操作系统。常见的linux系统有CentOS、Red Hat、Ubuntu等,我使用的是Ubuntu 14.04。系统尽量是最新的,对于旧版本的ubuntu,软件源支持不太好,apt-get install会发生错误

  总的来说,storm安装配置需要如下几个步骤:

  • 安装java jdk
  • 安装python
  • 安装zookeeper
  • 安装zeromq, jzmq
  • 安装storm
  1. 安装Java JDK

  什么是JDK?JDK(Java Development Kit),即java开发工具包,java程序开发者必须安装JDK来编译、调试程序。

(1)下载

  到http://www.oracle.com/technetwork/java/javase/downloads/index.html里下载需要的linux的java版本

注意:

  • 选择Accept License Agreement才可以下载

  下载的文件为java-8u25-linux-x64.tar.gz,放在/home/zbb/setup目录下。

(2)安装

  改变工作目录到你要安装java的地方,我的是"cd /usr/local/lib"

  解压:

tar -zxvf /home/zbb/setup/java-8u25-linux-x64.tar.gz

  tar是linux 下的打包和解压命令行工具,具体细节可以参考”man tar”。

  这个命令将 java-jdk-8u25-linux-x64.tar.gz压缩包从你下载的地方(即/home/zbb/setup)解压到当前目录(即/usr/local/lib)下。

  解压缩完毕之后,执行"ls",能看到当前目录下有一个新目录叫"jdk1.8.0_25"

(3)环境变量设置

  打开/etc/profile文件:

sudo gedit /etc/profile

  在文件最后增加如下几行:

export JAVA_HOME=/usr/local/lib/jdk1.8.0_25
export JRE_HOME=/usr/local/lib/jdk1.8.0_25/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

  (之后还会多次编辑/etc/profile,可以一次都加进去)

(4)环境变量读入

source /etc/profile

  /etc/profile修改后,要用这条语句使其立即生效。

(5)在终端中键入java -version得到java version "1.8.0_25"的话表示安装好java环境了.

  2. 安装Python

  比较新的Ubuntu版本中已经自带了Python 2.7,无需再安装。

  在终端中输入python来检测,Ctrl+Z退出python shell

  3. 安装zookeeper

  zookeeper是一个针对大型分布式系统的可靠协调系统。主要是状态同步用的。

  4. 安装zeromq和jzmq

  从http://download.zeromq.org/从这里下载zeromq

  解压后执行如下命令:

./autogen.sh
./configure
make
make install
时间: 2024-12-18 11:57:29

Storm单机版的安装与配置的相关文章

mongodb单机版的安装和配置

首先根据操作系统下载MongoDB的相关安装文件 下载后上传到linux上,解压 将解压后的文件夹重新命名为monggodb4.0.1 命令mv 配置必要的文件夹mgdata存放运行数据,mglog存放日志,mgbin存放启动文件,创建bin方便拷贝存放mongodb4.0.1/bin/mongod文件 在mglog下创建mongodb.log(不创建会按照路径自动根据配置文件生成) 在mgbin中创建mongodb的配置文件 配置文件内容如下:fork为true后台运行 启动时报错,这是由于由

storm的集群安装与配置

storm集群安装 机器:(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 须要准备的软件有: zookeeper(zookeeper-3.4.4.tar.gz),storm(storm-0.8.1.zip) ,jdk 1.配置zookeeper 这里就不介绍了! 2.配置storm 解压storm 进入conf文件夹,编辑storm.yaml文件 ########## These MUST be filled

Storm on Yarn 安装配置

1.背景知识 在不修改Storm任何源代码的情况下,让Storm运行在YARN上,最简单的实现方法是将Storm的各个服务组件(包括Nimbus和Supervisor),作为单独的任务运行在YARN上,当前比较有名的“Storm On YARN”实现是由yahoo!开源的,它基本实现了上述描述的功能,下面具体进行说明:(1) YARN-Storm Client提供了一系列Shell命令供用户控制YARN上的Storm服务,比如构建一个Storm集群命令如下:storm-yarn launch <

企业私有云Owncloud(2)-单机版 安装和配置

本文讲单机版Owncloud安装,即所有component都安装在一个server上.Owncloud推荐使用如下环境(详见OwncloudServerAdminManual Chapter2): * Red Hat Enterprise Linux 7    * MySQL/MariaDB     * PHP 5.4 +     * Apache 2.4 (注意,自从8.0后不再支持windows Server版) 安装方式有两种,一种是RPM包,一种是源码安装.安装之前最好disable s

Hadoop-1.x安装与配置

1.在安装Hadoop之前,需要先安装JDK和SSH. Hadoop采用Java语言开发,MapReduce的运行和Hadoop的编译都依赖于JDK.因此必须先安装JDK1.6或更高版本(在实际生产环境下一般采用JDK1.6,因为Hadoop的部分组件不支持JDK1.7及以上版本).Hadoop利用SSH来启动Slave机器上的守护进程,对于在单机上运行的伪分布式,Hadoop采用了与集群相同的处理方式.所以SSH也是必须安装的. JDK1.6的安装配置步骤: (1)从网上下载JDK1.6的安装

Storm介绍及安装部署

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时

Storm集群安装部署步骤【详细版】

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

Linux学习之CentOS--CentOS6.4下Mysql数据库的安装与配置【转】

如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同,就没有记录下来了,有了jdk.tomcat.eclipse我们就已经能进行我们的程序开发了,但是如果要做一个项目,哪怕是小的不能再小的项目都离不开数

Linux CentOS下安装、配置mysql数据库

如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同,就没有记录下来了,有了jdk.tomcat.eclipse我们就已经能进行我们的程序开发了,但是如果要做一个项目,哪怕是小的不能再小的项目都离不开数