ubuntu10.04安装配置storm时遇到的问题及解决(单机)

参考《CentOS6.4下Storm0.9.2单机版安装》的步骤在ubuntu上安装storm,中间遇到一些问题记录一下。

参考文章链接:http://blog.csdn.net/qiyating0808/article/details/36041299

我的linux环境:ubuntu-10.04.4-desktop-i386

一,安装zeromq、jzmq及zookeeper时比较顺利,略过。

zeromq-4.0.4.tar.gz

zookeeper-3.4.6.tar.gz

安装过程可能需要安装的工具:

$ sudo apt-get install libtool autoconf automake

$ sudo apt-get install uuid-dev g++

或者

yum install uuid*

yum install libtool

yum install libuuid

yum install libuuid-devel

二,安装maven

使用apt-get install maven2取得的maven版本太旧(2.X),在编译storm-starter时遇到很多问题,所以在网上下载了apache-maven-3.2.3-bin.tar.gz后重新安装。

配置参考网上的方式如下:

为了使用方便,我们需要把maven加入系统的环境变量配置里

vim /etc/profile

在文件的末尾加入以下内容

export M2_HOME=/usr/local/apache-maven-3.0
export M2=$M2_HOME/bin
export MAVEN_OPTS="-Xms256m -Xmx512m"(可选)
export PATH=$M2:$PATH(这里一定要注意$PATH前面是:冒号,跟windows的;分号不同哦)

检查下内容,然后保存退出

现在注销系统重新登录,打开shell终端,输入mvn -v是否出现版本信息呢?恭喜你,配置成功!

三,安装storm

下载apache-storm-0.9.2-incubating.tar.gz并安装

基本同《CentOS6.4下Storm0.9.2单机版安装》一文,需要注意修改storm.yaml时 (注意yaml格式的要求,空格tab,:和-前后都有空格),要严格遵守格式要求,部署过程中确实遇到了格式错误。

四,安装storm-starter

《CentOS6.4下Storm0.9.2单机版安装》一文中提到的获取storm-starter的命令

git clone https://github.com/nathanmarz/storm-starter.git

获取得到的storm-starter为默认支持storm0.9.0.1的版本,不知为何用mvn编译始终不通过,最后没有办法改用了在网上搜到的获取最新版本的方法:

git clone git://github.com/apache/incubator-storm.git && cd incubator-storm/examples/storm-starter

不过此方法获得的storm-starter配置文件默认的父项目storm版本为0.9.3,而我能下载到最新的是0.9.2,修改配置文件父项目为0.9.2版本,如下:

  <parent>
      <artifactId>storm</artifactId>
      <groupId>org.apache.storm</groupId>
      <version>0.9.2-incubating</version>
      <relativePath>../../pom.xml</relativePath>
  </parent>

终于编译通过。

五,启动storm

(启动主节点,后台运行模式)
bin/storm nimbus >/dev/null 2>&1 &        
(启动从节点,后台运行模式)
bin/storm supervisor >/dev/null 2>&1 &    
(启动UI程序,后台运行模式)
bin/storm ui >/dev/null 2>&1 &

六,提交storm-starter的Topology Demo:

《CentOS6.4下Storm0.9.2单机版安装》一文中提交的是storm-starter-0.X.X-SNAPSHOT-jar-with-dependencies.jar,但我在实际操作时发现提交依赖包报错,改为提交storm-starter-0.X.X-incubating.jar,因为storm.starter.WordCountTopology.class在该jar包下,修改后提交成功,提交命令如下:

storm jar storm-starter-0.9.2-incubating.jar storm.starter.WordCountTopology wordcountTop

七,查看运行情况

此时就可以通过Web界面查看了:http://localhost:8080/

storm list 查看当前运行的Topology

可在storm目录下的logs下查看日志文件,包含nimbus.log,supervisor.log,各个worker.log.

最后,不太熟悉maven,使用起来始终不太习惯,在现在这个参考前辈们的部署示例成功后,下一步计划在eclipse上再进行下部署。

时间: 2024-10-13 08:46:59

ubuntu10.04安装配置storm时遇到的问题及解决(单机)的相关文章

ubuntu10.04 bind9 配置主从区域数据传送问题

今天在ubuntu10.04上配置dns主从区域数据传送时 从服务器学习不到主服务器的配置,查看/var/log/messages时显示为 Aug  1 06:42:45 ubuntu kernel: [ 5397.159601] type=1503 audit(1406900565.661:37):  operation="mknod" pid=2351 parent=1 profile="/usr/sbin/named" requested_mask="

Ubuntu Kylin 14.04 安装配置 jdk、eclipse、tomcat 通用

一.安装jdk 1)首先去sun官网下载jdk http://www.oracle.com/technetwork/java/javase/downloads/index.html 注意下载的是tar.gz结尾的文件,例如:jdk-7u21-linux-i586.tar.gz 2)下载之后,打开终端使用命令进行解压: sudo tar -zxvf jdk-7u21-linux-i586.tar.gz 回车后需要输入登陆密码,注意输入的密码是看不到的,你输入后回车就行 我下载的jdk是:jdk-7

ubuntu kylin 14.04安装配置redis-2.8.9(转)

1.下载安装文件加压.编译和安装 cd /tmpwget http://download.redis.io/releases/redis-2.8.9.tar.gztar -zxf redis-2.8.9.tar.gzcd redis-2.8.9makesudo make install 这时Redis 的可执行文件被放到了/usr/local/bin 2.下载配置文件和init启动脚本:wget https://github.com/ijonas/dotfiles/raw/master/etc/

Ubuntu 12.04 安装配置 Apache2

Apache2安装 1 我们使用root账户进行安装,首先切换到root账户,输入命令: sudo su 2 安装 Apache2 apt-get install apache2 在浏览器输入你服务器ip地址列入,如http://10.103.30.201.查看Apache2是否工作,如果显示(It works!),说明已经工作. Apache 在 Ubuntu 中默认文档根目录为 /var/www,配置文件 /etc/apache2/apache2.conf,额外配置存储子目录 /etc/ap

ubuntu kylin 14.04安装配置MongoDB v2.6.1(转)

1.获取最新版本 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.1.tgz 2.解压并进入bin目录 tar zxvf mongodb-linux-x86_64-2.6.1.tgz cd /opt/database/mongodb-linux-x86_64-2.6.1/bin 3.运行前创建mongodb需要的存放数据和日志的目录: sudo mkdir -p /data/db/ sudo chmod -R 777 /data

Ubuntu16.04安装配置和使用ctags

Ubuntu16.04安装配置和使用ctags by ChrisZZ ctags可以用于在vim中的函数定义跳转.在ubuntu16.04下默认提供的ctags是很老很旧的ctags,快要发霉的版本(5.9~svn20110310-11),快扔掉它,安装universal-ctags吧! 发霉的exuberant-ctags 来,一起看看,默认的ctags是什么情况. 查看apt提供了哪些ctags包 aptitude search ctags 查询结果: v ctags - v ctags:i

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决

ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码,通过编译源码并安装一.需要准备的软件:1.JDK和GCC    设置JAVA_HOME:        vim ~/.bashrc        在最后增加:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31,保存退出.        使设置立即生效:source ~/.bashrc        测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功:    

Ubuntu 14.04 安装配置备忘录

完全在 Linux 下工作,大概有3年时间了. 之前都是用 Windows, 而把 Linux 装在虚拟机里,现在反过来,把 Windows 装在了虚拟机里,只是因为偶尔还要用网银的缘故. 以我这几年的使用经验, 一句话: Linux 用过之后就回不去了. 以下记录我的 Ubuntu 14.04 Linux 安装配置, 算是备忘录. 需要说明的一点是: 我从来不觉得使用 Debian, CentOS, 或者 Arch, Gentoo 的人很牛, 只能说明你们不珍惜时间,就爱瞎折腾, 当然如果你是

Ubuntu16.04 安装配置Caffe

Caffe已经是第三次安装配置了,为什么是第三次呢?因为我实在是低估了深度学习对于硬件的要求.第一次我在自己笔记本上配置的单核,CPU only ...  结果是,样例数据跑了4小时,这还怎么玩?第二次在台式机上,因为台式机比较low,I5处理器4核,没有NVIDIA的GPU.我把别人训练好的模型下载下来,然后自己测试,发现真的成功了,心里小激动~ 然而,当我自己训练模型时,我训练7天.....  关键是7天了还在跑..... 心想,我这个穷逼难道要自己掏钱买个服务器?那怎么可能.还好,老师人非