2017.4.20 远程提交topology成功

新建了一个ubuntu虚拟机开发环境,在ubuntu机器上实现了远程提交topology,但还是无法解决topology本地模式运行的问题,

在windows上也实现了远程提交topology,也是无法解决topology本地模式运行的问题,

要实现远程提交topology,首先要在本地机器安装storm,讲storm命令添加到path路径,然后修改本地storm的配置文件,

让他知道nimbus服务器的地址,topology被提交给nimbus节点,再由nimbus节点分派任务到supervisor节点。

在集成环境中不需要另外单独开窗口运行maven命令,集成环境也有terminal,可以执行maven命令,在集成环境的终端窗口下提交拓扑。

本地执行调试还是个问题。

时间: 2024-10-31 00:21:59

2017.4.20 远程提交topology成功的相关文章

通过 IDE 向 Storm 集群远程提交 topology

转载: http://weyo.me/pages/techs/storm-topology-remote-submission/ 作为一个懒癌晚期患者,虽然 Storm 只需要一条命令的任务提交方式已经够简单了,但还是一直想要有种更简(tou)单(lan)的方式,比如要是在 Windows 下写完代码之后可以直接提交任务而不需要手动把 jar 包拷到服务器上再提交那定是极好的了.谷歌了一下终于在墙外找到了解决方法: Submitting a topology to Remote Storm Cl

Eclipse远程提交hadoop集群任务

文章概览: 1.前言 2.Eclipse查看远程hadoop集群文件 3.Eclipse提交远程hadoop集群任务 4.小结 1 前言 Hadoop高可用品台搭建完备后,参见<Hadoop高可用平台搭建>,下一步是在集群上跑任务,本文主要讲述Eclipse远程提交hadoop集群任务. 2 Eclipse查看远程hadoop集群文件 2.1 编译hadoop eclipse 插件 Hadoop集群文件查看可以通过webUI或hadoop Cmd,为了在Eclipse上方便增删改查集群文件,我

1.Storm 安装手册和提交Topology

目录 (一)搭建单机storm集群 一.下载所需要的资源 二.资源解压 三.安装JDK 四.安装依赖的库文件 五.安装ZMQ 六.安装jzmq 七.启动zookeeper 八.启动storm 九.在UI端访问 十.编译storm-start jar包 十一.storm-starter源码导出 十二.提交Topology (二)搭建多机storm集群 一.基本设置 二.修改配置文件 三.启动集群 四.在UI端口访问 五.提交Topology 附一 Storm 安装手册 (一)搭建单机storm集群

客户端用java api 远程操作HDFS以及远程提交MR任务(源码和异常处理)

两个类,一个HDFS文件操作类,一个是wordcount 词数统计类,都是从网上看来的.上代码: package mapreduce; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apac

Eclipse远程提交MapReduce任务到Hadoop集群

一.介绍 以前写完MapReduce任务以后总是打包上传到Hadoop集群,然后通过shell命令去启动任务,然后在各个节点上去查看Log日志文件,后来为了提高开发效率,需要找到通过Ecplise直接将MaprReduce任务直接提交到Hadoop集群中.该章节讲述用户如何从Eclipse的压缩包最终完成Eclipse提价任务给MapReduce集群. 二.详解 1.安装Eclipse,安装hadoop插件 (1)首先下载Eclipse的压缩包,然后可以从这里下载hadoop 2.7.1的ecp

AJAX提交数据成功但不会跳转页面

HTML页面通过ajax提交数据成功,但是会执行多次success方法,不会跳转到指定页面 解决办法;把button的type改为button即可 1 <button type="button" id="addBtn" class="btn btn-primary btn-lg">添加</button> 2 3 <script type="text/javascript"> 4  $(&qu

GIT 如何合并另一个远程Git仓库的文件到本地仓库里某个指定子文件夹并不丢失远程提交记录?

问题背景: 最近在重新整理手中的一个项目,目前该项目分为PC项目,手机项目,某第三方接口项目,第三方接口服务项目和手机项目 因为之前规划的原因,原来的四个项目是分两个解决方案来管理的 PC解决方案: #PC解决方案,2015年从Vss迁移到Git 一共三个项目 #F:\WWW\F.COM\WWW Flight.sln Flight.suo Web #PC项目 Qr #第三方接口项目 2015年新增项目,也使用PC解决方案但用分支进行管理,维护单独的通用项目,目前已经将通用项目分离到单独的分支进行

流式计算-Jstorm提交Topology过程(下)

紧接上篇流式计算-Jstorm提交Topology过程(上), 5.上篇任务已经ServiceHandler.submitTopologyWithOpts()方法,在该方法中,会实例化一个TopologyAssignEvent,相当于创建了一个topology级别的作业,然后将其保存到TopologyAssign的任务队列中,具体代码如下: TopologyAssignEvent assignEvent = new TopologyAssignEvent(); assignEvent.setTo

流式计算-Jstorm提交Topology过程

Topology是Jstorm对有向无环图的抽象,内部封装了数据来源spout和数据处理单元bolt,以及spout和bolt.bolt和bolt之间的关系,它可以被提交到Jstorm集群. 本文以Jstorm自带的SequenceTopology简单介绍一下Jstorm提交topology的过程,本文主要介绍提交过程,不涉及具体业务, 1. SequenceTopology核心方法com.alipay.dw.jstorm.example.sequence.SequenceTopology.Se