storm配置

配置

Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项,在拓扑中不能修改,另外一些配置项则是可以在拓扑中修改的。

每一个配置项都在 Storm 代码库的 defaults.yaml 中有一个默认值。可以通过在 Nimbus 和 Supervisors 的环境变量中定义一个 storm.yaml 来覆盖默认值。最后,在使用 StormSubmitter 提交拓扑时也可以定义基于具体拓扑的配置项。但是,基于拓扑的配置项仅仅能够覆盖那些以 “TOPOLOGY” 作为前缀的配置项。

Storm 0.7.0 以上版本支持覆写每个 Bolt/Spout 的配置信息。不过,使用这种方式只能修改以下几个配置项:

  1. "topology.debug"
  2. "topology.max.spout.pending"
  3. "topology.max.task.parallelism"
  4. "topology.kryo.register":由于序列化对拓扑中的所有组件都是可见的,这一项与其他几项稍微有一些不同,详细信息可以参考 Storm 的序列化

Storm 的 Java API 支持两种自定义组件配置信息的方式:

  1. 内置型:在需要配置的 Spout/Bolt 中覆写 getComponentConfiguration 方法,使其返回特定组件的配置表;
  2. 外置型:TopologyBuilder 中的 setSpout 与 setBolt 方法会返回一个带有 addConfiguration 方法的ComponentConfigurationDeclarer 对象,通过 addConfiguration 方法就可以覆写对应组件的配置项(同时也可以添加自定义的配置信息——译者注)。

配置信息的优先级依次为:defaults.yaml < storm.yaml < 拓扑配置 < 内置型组件信息配置 < 外置型组件信息配置。

相关资料

时间: 2024-10-20 21:15:24

storm配置的相关文章

Storm 配置图文解析

Storm 配置图文解析 参考阅读:http://www.xiaofateng.com/?p=959 ============================== | sample-topology | | ------------------------ | Task 1 Task 2 Task 3 | | Worker Process 1 | | T1 T2 T3 | | +--------+ | | Spout => Bolt => Bolt | | +------+ | +----+

storm配置:如何解决worker进程内存过小的问题

问题导读1.如何设置storm内存?2.如果没有配置文件的情况下,该如何配置一些参数?3.通过哪个参数可以配置内存? Storm中真正干活的是各个worker,而worker由supervisor负责启动.在topology启动过程中我们会看到如下的启动日志: 这就是启动一个worker进程,也就是一个JVM进程.默认情况下,Storm启动worker进程时,JVM的最大内存是768M.但我在使用过程中,由于会在Bolt中加载大量数据,768M内存无法满足需求,会导致内存溢出程序崩溃.经过研究发

STORM配置TOPOLOGY问题

最初的错误: DynamicBrokersReader [ERROR] Node /brokers/ids/0 does not exist 设置: BrokerHosts brokerHosts = new ZkHosts(zks, "/kafka/brokers"); 然后就是如下错误: 2016-04-13T15:07:10.657+0800 b.s.util [ERROR] Async loop died! java.lang.RuntimeException: java.la

storm 配置,呵呵。

配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|local]) storm.local.mode.zmq Local模式下是否使用ZeroMQ作消息系统,如果设置为false则使用java消息

hadoop生态搭建(3节点)-11.storm配置

# http://archive.apache.org/dist/storm/apache-storm-1.1.0/ # ==================================================================安装 storm tar -zxvf ~/apache-storm-1.1.0.tar.gz -C /usr/local mv /usr/local/apache-storm-1.1.0 /usr/local/storm-1.1.0 rm –r

Storm配置运行

Storm核心概念 Nimbus:Storm集群主节点,负责资源分配和任务调度.我们提交任务和截止任务都是在Nimbus上操作的.一个Storm集群只有一个Nimbus节点. Supervisor:Storm集群工作节点,接受Nimbus分配任务,管理所有Worker. Worker:工作进程,每个工作进程中都有多个Task. Task:任务,每个Spout和Bolt都是一个任务,每个任务都是一个线程. Topology:计算拓扑,包含了应用程序的逻辑. Stream:消息流,关键抽象,是没有边

安装配置storm 第二步 配置Storm集群(二)

1.编辑host文件  vi  /etc/hosts   三台主机同时修改 192.168.2.20 storm01 192.168.2.21 storm02 192.168.2.22 storm03 2.主节点上(storm)配置storm (1)解压 apache-storm-1.0.3 (2)设置环境变量 : vi ~/.bash_profile STORM_HOME=/usr/local/apps/apache-storm-1.0.3 export STORM_HOME PATH=$ST

Storm on Yarn 安装配置

1.背景知识 在不修改Storm任何源代码的情况下,让Storm运行在YARN上,最简单的实现方法是将Storm的各个服务组件(包括Nimbus和Supervisor),作为单独的任务运行在YARN上,当前比较有名的“Storm On YARN”实现是由yahoo!开源的,它基本实现了上述描述的功能,下面具体进行说明:(1) YARN-Storm Client提供了一系列Shell命令供用户控制YARN上的Storm服务,比如构建一个Storm集群命令如下:storm-yarn launch <

linux下storm(0.9版本以上)的环境配置和小Demo

一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部分都是0.9以前的storm版本,所以有很多工作是不需要进行的,下面就storm的0.9.5版本在linux环境下进行配置进行详细解析. 由于配置storm只需要两个步骤,大大简化了配置,也是storm团队做了很大的努力,让程序员们专注于程序,让storm配置进行异常简单,好了,废话说了不少,下面正