storm单机环境部署

  前面说过storm集群的部署,这篇主要介绍storm单机环境部署,其实他们之间很类似,就是将之前配置文件中所有的集群条目改成本机的地址即可,部署之前应该按前面solr和zookeeper单机环境部署那篇文章中,正确设置好zookeeper并且启动zookeeper服务,设置方法和前面完全一致,接下来开始配置storm,首先释放storm并且放到/usr/目录下,命令如下:

$ tar -xvzf apache-storm-0.9.6.tar.gz
$ mkdir /usr/storm
$ mv apache-storm-0.9.6/ /usr/storm/
$ cd /usr/storm/apache-storm-0.9.6

  以上只是一种释放方式,这个完全可以根据自己的情况来,接下来开始配置strom配置文件storm.yaml

vim conf/storm.yaml

  找到storm.zookeeper.servers:配置项,这里原来是配置所有zookeeper服务集群的,这里改成本机即可:

  

  其他的都注释不用动

  然后配置nimbus监控节点nimbus.host选项,当然还是本地地址:

  

  然后在最后手动添加storm.local.dir相关文件存放的本地目录和supervisor.slots.ports执行worker作业进程的端口,我们说过这里最多是5个,之前集群配置了3个,这里默认就是4个端口:6700,6701,6702,6703

  

  这里本地文件存放目录就在/usr/storm下,可以自定义修改

  到这里storm的基本配置就完成了,单机环境暂时不用配置drpc服务了,这个时候保存并退出配置文件

  然后执行命令启动nimbus主节点: bin/storm nimbus & 稍等一会屏幕滚动,然后按回车就回到了命令行

  继续启动supervisor从节点: bin/storm supervisor &

  都启动完毕之后,启动strom ui管理界面: bin/storm ui &

  现在,执行 jps 命令可以查看到nimbus、supervisor、core这三个进程,打开浏览器访问对应主机的地址,这里是http://192.168.28.133:8080,访问就可以进入Storm UI了

  

  到这里,strom运行正常,strom的单机环境搭建就基本完成了

时间: 2025-01-06 01:46:09

storm单机环境部署的相关文章

storm生产环境部署问题

由于在正式生产环境上部署集群防火墙是不能关闭的,所以要帮storm中用到的端口在iptables中添加规则 是2.6的内核这样加: vi /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport     6700     -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport     6701     -j ACCEPT -A INPU

ELK ubuntu单机环境部署

记一次简单部署ELK的过程 OS:Ubuntu16.04 CPU:2 MEM:4G elasticsearch:6.0.1 下载地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.1.tar.gz logstash:6.0.1 下载地址:https://artifacts.elastic.co/downloads/logstash/logstash-6.0.1.tar.gz kibana:6.0.1

(个人)Zookeeper集群环境部署

一.准备工作 1. 下载zookeeper,下载地址:https://zookeeper.apache.org/releases.html#download 2. 下载CentOS7的镜像,下载地址:https://www.centos.org/download/ 3. 准备XManager,用于远程连接Linux,我用的是CentOS7. 4. 准备VMVare Workstation,安装好3台以上(至少3台才能集群)CentOS75. 设置好CentOS的JDK,本人使用的是最新的JDK8

Kafka单机环境的部署

前面说过Kafka集群环境的部署,现在主要说一下在本地测试中Kafka单机环境的部署,和前面一样首先保证zookeeper服务的正常运行,然后解压并释放kafka安装包,并放到指定位置: tar -xvzf kafka_2.9.2-0.8.2.2.tar.gz mkdir /usr/kafka mv kafka_2.9.2-0.8.2.2 /usr/kafka/ cd /usr/kafka/kafka_2.9.2-0.8.2.2 现在开始编辑配置文件server.properties,执行命令:

Storm 系列(三)Storm 集群部署和配置

Storm 系列(三)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群.相关的过程和主要的配置选项是 Storm 的运维人员需要重点关注的,对部署和配置选项不感兴趣的读者,可以跳过本章. 在开始 Storm 之旅前,我们先看一下 Storm 部署和配置的相关信息,并提交一个 Topology,了解 Storm 的基本原理.Storm 的部署模式包括单机和集群环境,同时在向 Storm 环境中提交 To

Centos6.5 storm单机安装

Centos6.5 storm单机安装 本篇幅讲述Twitter Storm安装配置,也作为自己的笔记. storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster storm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样. 要使用storm首先要安装以下工具: python.zookeeper.zeromq.jzmq.storm 第一步,安装Python2.7.2 wget

ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1分布式环境部署

博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=542 转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作! --------------------------------------- 目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JD

BizTalk开发系列(三) 单机环境下的BizTalk Server 2006 R2安装

大部分的开发环境都是在单机环境下进行的,今天整理了一下BizTalk Server 2006 R2在单机环境下的安装步骤. 1. 软件需求 在独立服务器中完整安装BizTalk Server 2006 R2的基本软件需求 Windows 2003 Server with Service Pack 2 (SP2), or Windows 2003 Server R2 Microsoft Office Excel 2003 and InfoPath 2003 with Service Pack 2

kafka本地单机安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流. 准备工作: 上述的文件除了jdk以外均放在/usr/local/kafka目录下. 1.安装jdk,kafka的使用要用到jdk 首先检查有无jdk:java -version cd /usr/local/hadoop(本例中我是将jdk的安装包放到hadoop文件夹下,各位可以依据自己情况) http://www.or