spark的standalone模式下HA的配置

在每个节点上的conf/spark-env.sh中配置

# for ha
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

2.配置zookeeper

3.启动zookeeper集群

4.启动spark集群

在master节点上启动 ,会开启master和worker。
sbin/start-all.sh

在slave1 和 slave2 节点上启动
sbin/start-master.sh

这样就启动了三个master了。通过master:8080 , slave1:8080 , slave2:8080均可以访问集群UI。 一个active的 和 两个 standby 。

5.测试 kill掉 master节点的 master进程，然后访问其他两个节点的UI页面，可以发现其中一个转为active了。

时间： 2024-10-01 07:51:36

spark的standalone模式下HA的配置的相关文章

Spark在StandAlone模式下提交任务，spark.rpc.message.maxSize太小而出错

1.错误信息org.apache.spark.SparkException: Job aborted due to stage failure:Serialized task 32:5 was 1728746673 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increasing spark.rpc.message.maxSize or using broadcas

Tomcat NIO, APR 模式下SSL 的配置以及如果配置Http 到 Https的跳转

一般情况下,Tomcat都只是作为请求处理器而处在web 服务器例如Apache, ngnix之后的,但是对于小型的应用用让Tomcat 作为前端服务器也无妨.这里对Tomcat的一些配置最一下总结. NIO 模式下的SSL配置: 步骤1 建立 keysore: %JAVA_HOME%\bin\keytool -genkey -alias tomcat -keyalg RSA 如果是第一次建立需要配置,可以还需要为keytool 设置进入密码. 通过这个命令生成的keystore包含了一个自动生

CloudStack：高级网络模式下的网卡配置

一.场景描述最近在测试CloudStack高级网络模式的配置,期间网络这块的确对我造成了一些困扰,现将其整理出来,供大家分享. 两块物理网卡:ifcfg-eno1以及ifcfg-eno2 两块桥接网卡:ifcfg-mbr0以及ifcfg-cloudbr0 其中ifcfg-eno1-->ifcfg-mbr0 (物理接口配置为access口,用于管理网络) 另外ifcfg-eno2-->ifcfg-cloudbr0 (物理网卡配置为trunk口,便于高级网络模式下网络的配置) 二.配置信息 [[

【Spark】Spark的Standalone模式安装部署

Spark执行模式 Spark 有非常多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则执行在集群中,眼下能非常好的执行在 Yarn和 Mesos 中.当然 Spark 还有自带的 Standalone 模式,对于大多数情况 Standalone 模式就足够了,假设企业已经有 Yarn 或者 Mesos 环境.也是非常方便部署的. local(本地模式):经常使用于本地开发測试,本地还分为local单线程和local-cluster多线程; standalone(集群模式):典型的

spark standalone模式的HA

参照官网文档:High Availability 一共有2中模式,基于文件系统.基于zookeeper. 1.基于文件系统,即将master的信息同步到某个文件目录中,当一个master挂掉之后,会启动宁外一个master读取目录的信息,正在执行的spark应用数据就不会丢失了.按照文档所说,在spark-env.sh中设置如下参数,重启即可. SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deplo

【源码学习之spark core 1.6.1 standalone模式下的作业提交】

说明:个人原创,转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5656876.html 未完待续

绑定模式下ifcfg-eth0的配置

场景描述:今天整一个下午都是在部署CentOS绑定模式,我不知道为什么开发者非得要同学们手动加载绑定驱动或者桥接驱动,这是一个坑啊!!当然,开源的卫士们辛苦啦!!献上我最真挚的祝福,好人一生平安.本身配置不是很复杂,我已经编写网络配置的脚本,但是在合并代码的过程中,发现绑定模式无法启动,以下是详细报道. 环境描述:CentOS绑定模式ifcfg-bond0 配置如下: DEVICE=bond0 TYPE=bonding IPADDR=12.12.12.12 GATEWAY=12.12.12.1

Spark集群-Standalone 模式

Spark 集群相关来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解打包提交,发布 Spark application standalone模式 SparkCluster 启动及相关配置资源, executor分配开放网络端口高可用(Zookeeper) 名词解释 Term(术语) Meaning(含义) Application 用户构建在 Spark 上的

Apache Spark技术实战之8：Standalone部署模式下的临时文件清理

未经本人同意严禁转载,徽沪一郎. 概要在Standalone部署模式下,Spark运行过程中会创建哪些临时性目录及文件,这些临时目录和文件又是在什么时候被清理,本文将就这些问题做深入细致的解答. 从资源使用的方面来看,一个进程运行期间会利用到这四个方面的资源,分别是CPU,内存,磁盘和网络.进程退出之后,CPU,内存和网络都会由操作系统负责释放掉,但是运行过程中产生临时文件如果进程自己不在退出之前有效清除,就会留下一地鸡毛,浪费有效的存储空间. 部署时的第三方依赖再提出具体的疑问之前,先回顾