Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)

Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html)

服务器环境的情况,请参考上篇博文 hbase centOS生产环境配置笔记

(hbase-r是ResourceManager; hbase-1, hbase-2, hbase-3是NodeManager)

1. 安装和配置 (yarn-cluster模式的文档参考:http://spark.apache.org/docs/latest/running-on-yarn.html)

  yarn-cluster模式运行程序,spark会将程序jar包保存至hdfs,然后自动通过yarn的配置,分布式运行在各台NodeManager上。故这个模式下,无须指定Spark的master和slaves。

  (1) 安装scala

  下载rpm包,安装

  

  (1) 本次Spark将在所有机器上安装:hbase-0, hbase-r, hbase-1, hbase-2, hbase-3。

  解压后目录中的文件拷贝至 /hbase/spark,以下配置文件的路径都是相对于该目录下。全部配置好了以后,安装目录,环境变量等,都将复制在所有机器上。

 

  (2) 环境变量, ~/.bashrc

export SPARK_HOME="/hbase/spark"
export SCALA_HOME="/usr/share/scala"

  (3) 设置Spark Properties,conf/spark-defaults.conf

# options for Yarn-cluster mode
spark.yarn.applicationMaster.waitTries          10
spark.yarn.submit.file.replication              1
spark.yarn.preserve.staging.files               false
spark.yarn.scheduler.heartbeat.interval-ms      5000
spark.yarn.max.executor.failures                6
spark.yarn.historyServer.address                hbase-r:10020
spark.yarn.executor.memoryOverhead              512
spark.yarn.driver.memoryOverhead                512

  (4) 在防火墙上设置所有机器之间互相可以内网访问所有端口(单独设置特定的端口范围太过麻烦了,hadoop, hbase, spark, yarn, zookeeper等各种监听端口太多了)。

  

  (3) 测试 java example

./bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster --num-executors 3 --driver-memory 1024m  --executor-memory 1024m --executor-cores 1 lib/spark-examples*.jar 20

  运行成功后,在控制台可以看到

     yarnAppState: FINISHED
     distributedFinalState: SUCCEEDED
     appTrackingUrl: http://hbase-r:18088/proxy/application_1414738706972_0011/A

  然后访问 appTrackingUrl,可以看到如下结果,可以看到 FinalStatus:SUCCEEDED

                    Application Overview
         User:       webadmin
         Name:       org.apache.spark.examples.JavaSparkPi
   Application Type: SPARK
   Application Tags:
        State:       FINISHED
     FinalStatus:    SUCCEEDED
       Started:      3-Nov-2014 15:17:19
       Elapsed:      43sec
     Tracking URL:   History
     Diagnostics:
   ApplicationMaster
    Attempt Number       Start Time          Node     Logs
   1                 3-Nov-2014 15:17:19 hbase-1:8042 logs
时间: 2024-10-12 04:15:08

Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)的相关文章

Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

集群模式概述 该文档给出了 Spark 如何在集群上运行.使之更容易来理解所涉及到的组件的简短概述.通过阅读 应用提交指南 来学习关于在集群上启动应用. 组件 Spark 应用在集群上作为独立的进程组来运行,在您的 main 程序中通过 SparkContext 来协调(称之为 driver 程序). 具体的说,为了运行在集群上,SparkContext 可以连接至几种类型的 Cluster Manager(既可以用 Spark 自己的 Standlone Cluster Manager,或者

Spark on Yarn: Cluster模式Scheduler实现

背景 主体逻辑 具体实现 AM YarnAllocator Executor 背景 Spark on Yarn分yarn-cluster和yarn-client两种模式. 本文通过Cluster模式的TaskScheduler实现入手,梳理一遍spark on yarn的大致实现逻辑. 前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚. 主体逻辑 cluster模式中,使用的TaskScheduler是YarnClusterScheduler. 它继承了默认使用的TaskSchedule

有米实习-Ubuntu 14.04 LTS 安装 spark 1.6.0 (伪分布式)

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

Spark 2.2.0 安装与配置

下载Spark 解压并移动到/software目录: tar -zxvf spark-2.2.0-bin-without-hadoop.tgz mv spark-2.2.0-bin-without-hadoop /software/spark 在/etc/profile文件添加: export SPARK_HOME=/software/spark export PATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$PATH 保存并更新/etc/profile:source

理解Spark运行模式(二)(Yarn Cluster)

上一篇说到Spark的yarn client运行模式,它与yarn cluster模式的主要区别就是前者Driver是运行在客户端,后者Driver是运行在yarn集群中.yarn client模式一般用在交互式场景中,比如spark shell, spark sql等程序,但是该模式下运行在客户端的Driver与Yarn集群有大量的网络交互,如果客户端与集群之间的网络不是很好,可能会导致性能问题.因此一般在生产环境中,大部分还是采用yarn cluster模式运行spark程序. 下面具体还是

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式

Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN

Spark SQL, DataFrames and Datasets Guide Overview SQL Datasets and DataFrames 开始入门 起始点: SparkSession 创建 DataFrames 无类型的Dataset操作 (aka DataFrame 操作) Running SQL Queries Programmatically 全局临时视图 创建Datasets RDD的互操作性 使用反射推断Schema 以编程的方式指定Schema Aggregatio

CentOS7.5之spark2.3.0安装

一简介 1.1 Spark概述 Apache Spark是一个快速且通用的集群计算系统.它提供Java,Scala,Python和R中的高级API以及支持通用执行图的优化引擎.是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoop MapReduce所具有的优点:但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目