cdh 上安装spark on yarn

在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件。

安装服务 选择on yarn 模式:上面 Spark

在spark 服务中添加

在yarn 服务中添加 getWay

后重新 启动服务端

用hdfs 用户进入 spark bin 目录

cd /opt/cloudera/parcels/CDH/lib/spark/bin

执行

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10

执行后查看状态:

查看Executors

时间: 2024-12-10 18:11:33

cdh 上安装spark on yarn的相关文章

CDH5.5.1 安装Spark ON Yarn环境

CDH对我们已经封装了,我们如果需要Spark on Yarn,只需要yum安装几个包就可以了. 前面的文章我有写过如果搭建自己内网的CDH Yum服务器,请参考<CDH 5.5.1 Yum源服务器搭建>http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4011f4798ae157608f1a.html 如果没有内网Yarn服务器的,请使用Cloudera的yum服务器. wget https://archive.cloudera.com/cdh5

在Ubuntu上安装Spark

1.下载spark2.4.3 使用用户的hadoop的版本,解压并放到/usr/local下并改名为spark目录 2.设置spark目录为本用户所有 3.设置环境变量 (1)#~/.bashrc export SPARK_HOME=/usr/local/spark source ~/.bashrc (2)cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh (3)进入  /usr/lo

Spark(十二) -- Spark On Yarn &amp; Spark as a Service &amp; Spark On Tachyon

Spark On Yarn: 从0.6.0版本其,就可以在在Yarn上运行Spark 通过Yarn进行统一的资源管理和调度 进而可以实现不止Spark,多种处理框架并存工作的场景 部署Spark On Yarn的方式其实和Standalone是差不多的,区别就是需要在spark-env.sh中添加一些yarn的环境配置,在提交作业的时候会根据这些配置加载yarn的信息,然后将作业提交到yarn上进行管理 首先请确保已经部署了Yarn,相关操作请参考: hadoop2.2.0集群安装和配置 部署完

Spark on Yarn

YARN是什么 YARN在hadoop生态系统中的位置 YARN产生的背景 YARN的基本架构 ResourceManager NodeManager ApplicationMaster container Spark On Yarn 配置和部署 编译时包含yarn 基本配置 在没有配置的前提下试下启动spark-shell 可以看到启动没问题 这里问题就来了!!! 下面我们配上来看看 可以看到报错了!!! 应该是资源不足导致的 先重启一下各个进程 $SPARK_HOME/bin/spark-s

在Windows上build Spark

在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下. 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹.我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz. 按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包. 首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本

如何在Ubuntu上安装Apache,MySQL,PHP,Nginx,HAProxy,以及如何在docker上安装LAMP

如何在Ubuntu上安装Apache,MySQL,PHP,Nginx,HAProxy,以及如何在docker上安装LAMP 在Ubuntu上安装LAMP: https://help.ubuntu.com/community/ApacheMySQLPHPhttps://www.digitalocean.com/community/tutorials/how-to-install-linux-apache-mysql-php-lamp-stack-on-ubuntuhttp://www.makete

在CDH上用外部Spark2.2.1安装和配置 CarbonData

在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData ===================================================================== cdh中外部spark(standalone模式安装) ===================================================================== 5.把安装包和配置文件拷贝到其他机器

CDH5上安装Hive,HBase,Impala,Spark等服务

Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件.下载依赖包等.Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤.由于需要对Hive,HBase,Impala,Spark进行功能测试,就采用了Cloudera Manager方式进行安装. Cloudera Manager提供两种软件包安装源,Package 和 Parcel: Package就是一个个rpm文件,以yum的方式组织起来. Parcel是rpm包的压缩格式,以.parcel结

Spark在Yarn上运行Wordcount程序

前提条件 1.CDH安装spark服务 2.下载IntelliJ IDEA编写WorkCount程序 3.上传到spark集群执行 一.下载IntellJ IDEA编写Java程序 1.下载IDEA 官网地址:http://www.jetbrains.com/idea/  下载IntlliJ IDEA后,进行安装. 2.新建Java项目 1.点击File 2.点击New Project 3.点击Java 注意:Project SDK要选择本机安装的JDK的位置,由于我的JDK是1.7,所以下面的