storm zookeeper

测试环境上跑一个storm和zookeeper的应用.

测试环境要求不是那么高,所以zookeeper可以和Storm在同一个系统上.

zookeeper的安装运行比较简单,以zookeeper-3.4.8为例.

cp conf/zoo_sample.cfg conf/zoo.cfg

vim zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/export/data/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=2
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1

下面这两个设置了可以减少日志的输出

autopurge.snapRetainCount=2

autopurge.purgeInterval=1

启动方法:

sh bin/zkServer.sh start

storm启动时,需要在storm.yaml中设置zookeeper的地址,就写127.0.0.1即可

storm.zookeeper.servers:
     - "127.0.0.1"
时间: 2024-11-13 09:37:22

storm zookeeper的相关文章

在做好的zookeeper集群上搭建storm的开发环境

参考文献http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html按照这个文献安装相应的支持软件 参考文献http://blog.csdn.net/u011362822/article/details/42463695提醒我一个关于zeromq的./configure时候的错误 参考文献http://uohzoaix.github.io/studies/2014

Storm 起步 Zookeeper Storm 单机部署

注意: 仅仅记录个人开发基本搭建,保证storm运行起来,目前不能保证性能以及稳定性 从其它网站各路高手记录中都需要一下四个标准套装 zeromq jzmq storm zookeeper 实际安装过程中没有发现zeromq和jzmq的用途,因此安装了Zqromq后未安装jzmq,可能是研究不够深入,后续继续发现. 一.安装Zookeeper https://zookeeper.apache.org/ 下载最新版,解压到指定目录,设置环境变量 export ZOOKEEPER_HOME=zook

storm学习笔记完整记录(一)

storm有两种运行模式(本地模式和集群模式) 1. 首先创建一个类似于HelloWorld的简单程序,以便进入storm的大门,包结构如下: 2.从包结构可以知道,这是一个Maven Project,pom.xml的内容如下: <project xmlns="http://maven.apache.org/POM/4.0.0"          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"    

Storm入门学习随记

推荐慕课网视频:http://www.imooc.com/video/10055 ====Storm的起源. Storm是开源的.分布式.流式计算系统 什么是分布式呢?就是将一个任务拆解给多个计算机去执行,让许多机器共通完成同一个任务, 把这个多机的细节给屏蔽,对外提供同一个接口.同一个服务,这样的系统就是分布式系统. 在多年以前并没有非常范用的分布式系统,即使存在,也都是限定在指定的领域, 当然,也有人尝试从中提取出共通的部分,发明一个通用的分布式系统,但是都没有很好的结果. 后来,Googl

storm

大数据技术交流群 :494721467 安装storm ------------------- 1.准备 jdk + zookeeper 2.storm安装 下载apache-storm-1.0.1.tar.gz + apache-storm-1.0.1.-src-tar.gz 3.tar 4.移动文件 $>mv /soft/.. 5.配置环境变量 [/etc/environment] path STORM_HOME= 6.配置storm [conf/yaml] storm.zookeeper.

storm在Ubuntu环境下的单机部署

目录 查看Ubuntu 安装JDK 安装Pythod 安装Zookeeper 安装ZeroMQ 安装Jzmp 安装Storm 查看Ubuntu是32位还是64 uname -a 返回结果 ==> SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux,可知Ubuntu为64位  安装JDK #下载64位的JDK wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15

Storm实时日志分析实战

项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表.我们采用了Kafka+Storm+Zookeeper的解决方案.之前没有接触过,经过一段时间的研究,最终完成了项目.接下来的内容我将介绍我们的解决方案.供大家参考.我们的系统结构如下: 总体结构介绍 业务系统把点击/浏览广告业务日志统一按规定的格式发送到Kafka集群中,不同的业务日志可以分别发送给Kafka不同的主题.Storm集群中运行了我们的实时统计拓扑,该统计拓扑分别从K

Storm命令详解

在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息.Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下: [html] view plain copy Commands: activate classpath deactivate dev-zookeeper drpc help jar kill list localconfvalue logvie

打包运行storm代码

两个节点的storm集群: host01 host02 zk nimbus supervisor 启动集群: 在host01上: /usr/local/storm/bin/storm nimbus 在host02上: /usr/local/storm/bin/storm supervisor 报错: 2015-09-21T21:08:17.294+0800 o.a.s.z.ClientCnxn[WARN]Session0x0for server null, unexpected error, c