本文转载自:http://smallx.me/2016/06/07/%E8%BF%90%E8%A1%8Cspark%E7%A8%8B%E5%BA%8F%E7%9A%84%E6%96%B9%E5%BC%8F/
本文主要讲述运行spark程序的几种方式，包括：本地测试、提交到集群运行、交互式运行 等。
在以下几种执行spark程序的方式中，都请注意master的设置，切记。
运行自带样例
可以用 run-example 执行spark自带样例程序，如下：
./bin/run-example org.apache.spark.examples.SparkPi |
或者同样的：
run-example SparkPi |
交互运行
可以用 spark-shell 以交互方式执行spark代码，这些操作都将由spark自动控制并以分布式处理的形式完成。首先，进入spark shell：
./bin/spark-shell |
然后就可以直接执行spark代码了。spark-shell非常适合学习API，初学的话多在里面敲敲很好的。
- Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用sc即可，否则用户自己再初始化，就会出现端口占用问题，相当于启动两个上下文。
- 在使用spark-shell时，可以通过 –driver-class-path 选项来指定所依赖的jar文件，多个jar文件之间使用分号”:”分割。
- 如果觉得spark-shell的日志过多而影响观看结果，可以配置一下日志参数，将conf目录下的log4j.properties.template复制一个并命名为log4j.properties，并修改其中的日志等级就ok了。
本地运行测试
如果你是在windows上开发spark程序，然后提交到linux运行。那么本地测试将会方便开发。
本地测试spark程序，需要将master设置为local[n]。同时注意：sc.textFile()可以加载本地文件而不一定是hdfs文件，这对于开发测试是非常方便的。
本地运行测试spark程序，既可以在IDE中进行，也可以手动在命令行中执行，参见我的linux下spark开发环境配置。
windows本地测试时，需要用到hadoop的一个东东（winutils.exe），否则会出现异常。使用方法是：新建一个文件夹 D:\hadoop\bin\ 并将 winutils.exe 放入其中，并保证winutils.exe双击运行没有报*.dll缺失的错误，然后
System.setProperty("hadoop.home.dir", "D:\\hadoop\\")设置一下hadoop目录即可。
提交到集群
可以用 spark-submit 提交任务到集群执行，如下(这里我们指定了集群URL为spark standalone集群)：
spark-submit --class 应用程序的类名 --master spark://master:7077 --jars 依赖的库文件,多个包之间用逗号","分割 --executor-memory 2G --total-executor-cores 20 spark应用程序的jar包 你的应用程序需要的参数(即main方法的参数) |
--master参数指定集群URL，可以是独立集群、YARN集群、Mesos集群，甚至是本地模式。见下表：
| master可选值 | 描述 |
|---|---|
| spark://host:port | spark standalone集群，默认端口为7077。 |
| yarn | YARN集群，当在YARN上运行时，需设置环境变量HADOOP_CONF_DIR指向hadoop配置目录，以获取集群信息。 |
| mesos://host:port | Mesos集群，默认端口为5050。 |
| local | 本地模式，使用1个核心。 |
| local[n] | 本地模式，使用n个核心。 |
| local[*] | 本地模式，使用尽可能多的核心。 |
- 如果jar包所需的依赖较少，通过
--jars手动指定还可以，如果很多，最好使用构建工具打包。- 需要注意的是，你的spark程序需要打包成jar包，spark-submit会将程序包分发到各个worker节点，同时这些上传到worker节点的文件，需要定时清理，否则会占用许多磁盘空间，如果运行于standalone模式，你可以设置 spark.worker.cleanup.appDataTtl 选项来让spark自动清理这些文件。
- 其实安装spark不需要安装scala，因为 spark-assembly-1.2.0-hadoop2.4.0.jar 中已经自带了scala库。spark/bin/compute-classpath.sh 会自动将spark自带的库文件(spark-assembly-1.2.0-hadoop2.4.0.jar等)添加到classpath中，因此即使classpath和你的spark应用程序中都没有指定spark库文件路径，你的spark应用程序照样可以执行。