spark-submit的参数名称解析

执行时需要传入的参数说明

Usage: spark-submit [options] <app jar | Python file> [app options]


参数名称


含义


--master MASTER_URL


可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local


--deploy-mode DEPLOY_MODE


Driver程序运行的地方,client或者cluster


--class CLASS_NAME


主类名称,含包名


--name NAME


Application名称


--jars JARS


Driver依赖的第三方jar包


--py-files PY_FILES


用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip,  .egg, .py文件列表


--files FILES


用逗号隔开的要放置在每个executor工作目录的文件列表


--properties-file FILE


设置应用程序属性的文件路径,默认是conf/spark-defaults.conf


--driver-memory MEM


Driver程序使用内存大小


--driver-java-options

 

--driver-library-path


Driver程序的库路径


--driver-class-path


Driver程序的类路径


--executor-memory MEM


executor内存大小,默认1G


--driver-cores NUM


Driver程序的使用CPU个数,仅限于Spark Alone模式


--supervise


失败后是否重启Driver,仅限于Spark  Alone模式


--total-executor-cores NUM


executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式


--executor-cores NUM


每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式


--queue QUEUE_NAME


提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式


--num-executors NUM


启动的executor数量,默认是2个,仅限于Spark on Yarn模式


--archives ARCHIVES


仅限于Spark on Yarn模式

时间: 2024-10-08 18:03:31

spark-submit的参数名称解析的相关文章

Spring MVC-控制器(Controller)-参数方法名称解析器(Parameter Method Name Resolver )示例(转载实践)

以下内容翻译自:https://www.tutorialspoint.com/springmvc/springmvc_parametermethodnameresolver.htm 说明:示例基于Spring MVC 4.1.6. 以下示例显示如何使用Spring Web MVC框架使用多操作控制器的参数方法名称解析器方法.MultiActionController类有助于分别在单个控制器中将多个URL与其方法映射. package com.tutorialspoint; import java

SSM-SpringMVC-11:SpringMVC中ParameterMethodNameResolver参数方法名称解析器

------------吾亦无他,唯手熟尔,谦卑若愚,好学若饥------------- 或许曾经的我们也见过一种方式http://localhost:8080/项目名/后台servlet?actionName=login&uname=admin&upwd=123 这种方式调度servlet并且传参数,这里我要表达什么呢?就是?后面可以拼接内容, 所以,此处的ParameterMethodNameResolver就是通过这种方式来访问到的方法名的 说一下案例使用步骤 一,定义Paramet

spark submit 参数

spark submit 参数及其调优https://blog.csdn.net/guohecang/article/details/52088117 Spark配置参数详解 一.yarn模式下一个示例:./bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --executor-cores 4 \ --driver-memory 1G \ --conf spark.def

Spark源码系列(九)Spark SQL初体验之解析过程详解

好久没更新博客了,之前学了一些R语言和机器学习的内容,做了一些笔记,之后也会放到博客上面来给大家共享.一个月前就打算更新Spark Sql的内容了,因为一些别的事情耽误了,今天就简单写点,Spark1.2马上就要出来了,不知道变动会不会很大,据说添加了很多的新功能呢,期待中... 首先声明一下这个版本的代码是1.1的,之前讲的都是1.0的. Spark支持两种模式,一种是在spark里面直接写sql,可以通过sql来查询对象,类似.net的LINQ一样,另外一种支持hive的HQL.不管是哪种方

Spark on K8S源码解析.md

Spark on K8S源码解析 sparkk8s time: 2019-12-19 Spark on k8s源码解析 1. Spark Submit spark-submit.sh spark-class.sh SparkSubmit 第一步,初始化spark应用配置 第二步,执行spark应用 Spark on k8s源码解析 本文基于spark-3.0.0 preview源码,来分析spark作业基于K8S的提交过程. spark on k8s的代码位置位于: 关于kubernetes目录

Linux系统内部的名称解析与安全认证

我们都知道计算机最喜欢的是数字,而人类喜欢的是语言,所以我们在计算机上运行的进程.定义的用户.端口号.协议.ip地址等都需要转换成数字的形式让计算机明白,在Linux上实现这种功能的框架就是nsswitch. The Name Service Switch (NSS) is a facility in Unix-like operating systems that provides a variety of sources for common configuration databases

J2SE_通过反射能获取方法参数名称吗?

一.Java通过反射可以获取方法的参数名称吗? 不能!!! 二.测试示例代码: import java.lang.reflect.Method; class T { public void print(String username) { System.out.println(username); } } public class Test { public static void main(String[] args) { T t = new T(); t.print("zhangsan&qu

DNS(名称解析服务)

DNS and Bind ========================================================================= 概述: DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串.通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析).DNS协议运行在UDP协议之上,使用端口号53. 相关知

WebApi系列~FromUri参数自动解析成实体的要求

回到目录 关于webapi我之前写了一些文章,大家可以根据目录去浏览,今天要说的是个怪问题,也是被我忽略的一个问题,当你的Url参数需要被Api自动解析成实体的属性,实事上是要有条件的,不是所以属性都可以被自动赋值的,下面我们就来看看先决条件: 条件一:类属性名称必须和参数名称相同 条件二:API参数必须以[FromUri]来修饰 条件三:属性类型为“类”的,如果使用类名(导航属性在本类的名称,可以不是类的原名).属性名的形式,例如Page.PageIndex 条件四:属性类型为“数组,集合”时