安装storm的一些很乱的笔记

下面是自己安装和测试storm的一些笔记,比较乱,后续有时间在整理一篇。

storm jar all-my-code.jar com.storm.MyTopology arg1 arg2
这个命令会运行主类: com.strom.MyTopology, 参数是arg1, arg2。这个类的main函数定义这个topology并且把它提交给Nimbus。storm jar负责连接到Nimbus并且上传jar包。

activate和deactivate是在spout被activate或deactivate时被调用,这两个动作是由用户从外部触发的,Strom的命令行提供两个命令activate和deactivate,允许用户activate和deactivate一个Topology,当用户执行deactivate时,对应Topology的spout会被deactivate,产生影响就是spout的nextTuple此后将不会被调用,直到用户再调用activate。

Spout使用的collector是SpoutOutputCollector,Bolt使用的collector
Spout:拿数据,nextTuple()
Bolt:处理数据,execute()

本地安装Sorm:
查找ifconfig命令在哪个目录:whereis ifconfig
把ifconfig命令目录增加到环境变量:export PATH=$PATH:/sbin
ifconfig
切换root权限:su

chown -R admin tools
chmod -R 775 tools
vi /etc/yum.conf,增加代理:proxy=http://172.17.18.80:8080/
yum install unzip
su admin
tar -zxvf zookeeper-3.3.6.tar.gz
复制conf文件夹下的zoo_sample.cfg为zoo.cfg
tickTime=2000
dataDir=/home/admin/liusen/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=localstorm:2888:3888
vi /etc/sysconfig/network
HOSTNAME=localstorm
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost ->127.0.0.1 localstorm localhost
hostname localstorm
cd到zookeeper的bin目录:./zkServer.sh start
查看Zookeeper状态:./zkServer.sh status
关闭Zookeeper:./zkServer.sh stop
查看哪个结点被选作leader或者followe:echo stat|nc 127.0.0.1 2181
测试是否启动了该Server,若回复imok表示已经启动:echo ruok|nc 127.0.0.1 2181
客户端连接:./zkCli.sh –server 127.0.0.1:2181
查看Zookeeper配置:echo conf |nc 127.0.0.1 2181

tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
缺少包uuid-dev:sudo yum install e2fsprogs-devel
重新编译到制定位置:./configure --prefix=/home/admin/liusen/zeromq
make
make install

tar –jxvf Python-2.6.6.tar.bz2
./configure --prefix=/home/admin/liusen/python
make
make install

#cd /usr/bin
#ll |grep python //查看该目录下python
#rm -rf python
#ln -s /home/admin/liusen/python/bin/python ./python //建立对应的软链接
#python -V

unzip jzmq-master.zip
cd jzmq-master
./autogen.sh
./configure --prefix=/home/admin/liusen/jzmq
报错:configure: error: cannot find zmq.h
export CPPFLAGS=-I/home/admin/liusen/zeromq/include/
export LDFLAGS=-L/home/admin/liusen/zeromq/lib/
./configure --prefix=/home/admin/liusen/jzmq --with-pgm
make
make install

unzip storm-0.8.1.zip
conf/storm.yaml
storm.zookeeper.servers:
- "localstorm"
storm.local.dir: "/home/admin/liusen/storm/workdir"
java.library.path:”/usr/local/lib:/opt/local/lib:/usr/lib:/home/admin/liusen/zeromq:/home/admin/liusen/jzmq”
nimbus.host: "localstorm"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

chown -R admin liusen
chmod -R 775 liusen
./storm nimbus >/dev/null 2>&1 &
./storm supervisor >/dev/null 2>&1 &
./storm ui >/dev/null 2>&1 &
(解析:dev启动一个记录日子文件,名为null, 2是标准输出,&1是错误输出, &结束)

vi /usr/bin/yum
修改头#!/usr/bin/python => #!/usr/bin/python2.4
yum remove system-config-network system-config-network-tui
yum install system-config-network system-config-network-tui

rpm -ivh system-config-network-tui-1.3.99.21-1.el5.noarch.rpm
rpm -ivh system-config-network-1.3.99.21-1.el5.noarch.rpm

yum search vim搜索vim
yum -y install vim* 安装vim等
find / -name rhpl.translate

ls -l 查看包括软链接地址
#rm -rf python
##ln -s /home/admin/liusen/python/bin/python ./python
#ln -s python2.4 ./python

neat 查看网络设置界面
/etc/init.d/network restart 重启网络配置

chkconfig iptables off
service iptables stop
vim /etc/sysconfig/iptables
/etc/init.d/iptables status

1.windows xp的字体一般存放在c:\windows\fonts目录下,copy你要的字体到linux下,也可以直接下载,不过看着乱码。。
2.把字体copy到/usr/share/fonts 目录下,然后执行以下命令:
mkfontscale
mkfontdir //这两条命令是生成字体的索引信息
fc-cache //更新字体缓存
cp /home/admin/liusen/tools/MSYHBD.TTF /usr/share/fonts
cp /home/admin/liusen/tools/MSYH.TTF /usr/share/fonts

关机:poweroff
shutdown –h now

storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal
./storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal

./storm jar /home/admin/liusen/testjar/ota-dip-et-1.0.0-SNAPSHOT.jar com.travelsky.topology.TopologyMain

storm kill storm-person
查看当前storm任务列表:storm list
jps

关闭nimbus相关进程:
kill `ps aux | egrep ‘(daemon\.nimbus)|(storm\.ui\.core)‘ | fgrep -v egrep | awk ‘{print $2}‘`
干掉supervisor上的所有storm进程:
kill `ps aux | fgrep storm | fgrep -v ‘fgrep‘ | awk ‘{print $2}‘`

来自http://lawson.cnblogs.com

安装storm的一些很乱的笔记,布布扣,bubuko.com

时间: 2024-10-08 05:11:30

安装storm的一些很乱的笔记的相关文章

xshell远程终端操作Ubuntu server安装LAMP环境之最详细笔记之二PHP开发环境配置

前言: 昨天学会了安装server,今天试着通过远程终端xshell来安装LAMP,搭配一下开发环境,也有集成环境可以一键安装使用,还是瞎折腾一下,手动一步一步搭建一下这个开发环境. 接上一篇:ubuntu server 14.04 LTS下搭建LAMP环境之最详细笔记之一U盘安装双系统本文原创博客地址:http://www.cnblogs.com/unofficial官网地址:www.pushself.com) 准备: 在windows系统上首先需要安装xhsell,具体下载地址可以搜一下,安

centos 7 min 编译安装php5.6+nginx1.7.5 笔记

centos 7 min 编译安装php5.6+nginx1.7.5 笔记 1.安装mysql请参照 centos 7 min 编译安装mysql5.6.20 笔记 2.编译安装php5.6+nginx1.7.5 2.1.安装php5.6.0 首先添加依赖应用 yum install -y gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libpng libpng-dev

Mac系统下brew安装指定版本的nodejs小笔记

http://www.jincon.com/archives/429/ Mac系统下brew安装指定版本的nodejs小笔记

如何在Linux上安装Storm

Storm是开源的分布式实时计算系统,能够让数据流处理变得简单.可靠,也因此在大数据领域有广泛的实际 应用.下面介绍一下如何在Linux系统上安装Storm.根据Storm官网介绍,安装Storm软件分五步: 安装Zookeeper. 安装Storm的依赖环境:Java和Python. 下载并解压Storm安装包. 修改必要的Storm配置文件. 启动Storm程序. 一.Storm作为分布式系统,它的运行需要借助Zookeeper来进行协同.因此安装Storm之前需要先安装 Zookeeper

CentOS6.5 安装Storm集群

1.首先安装依赖包 [[email protected] ~]# yum install uuid* [[email protected] ~]# yum install libuuid [[email protected] ~]# yum install libuuid-devel [[email protected] ~]# yum install libtool [[email protected] ~]# yum install e2fsprogs [[email protected]

window10单机安装storm集群

适合范围:storm自由开源的分布式实时计算系统,擅长处理海量数据.适合处理实时数据而不是批处理. 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper.apache.org/,点击download进入新页面之后,--->download,选择一个镜像文件下载到本地: ②下面是我选择的文件http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ ,下载的版本是zookeeper-3.4.14: ③解

CentOS7的安装及部署javaweb项目 - 学习笔记

一, 概述: 这两天在捣鼓linux的东西,安装及配置网络环境,共享设置,以及安装jdk , tomcat环境,并将自己开发的javaweb系统部署到上述环境中.经过周末熬到深夜,终于搞掂,现在整理一下笔记,分享出来,以后也可以回顾. 二, 安装CentOS7: 我这里是基于VirtualBox的安装,安装的是无桌面版本CentOS 1, 下载virtualbox并安装 此处省略100字.... 2, 下载CentOS最小安装版本 官网: https://www.centos.org/downl

Mac安装 Storm 小结

Strom 安装&部署 本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果). 本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径, 权限等), 像是真正的将Topology提交到生产集群一样. Storm 相关网站: 并发编程网-Storm, 官网St

安装storm集群

手工安装Storm集群 注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本. 要手工安装Storm,需要先安装以下软件 Zookeeper集群(安装方法详见管理向导) Java6.0 Python2.6.6 Unzip命令 NOTE: Nimbus和管理进程将要依赖Java.Python和unzip命令 安装本地库: 安装ZeroMQ: 1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz