Spark1.0源码编译

编译方式一：maven
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Phive -Dhadoop.version=2.3.0-cdh5.0.0 -Dyarn.version=2.3.0-cdh5.0.0 -DskipTests clean package

参数说明：
-Pyarn：支持yarn 
-Phive：Spark SQL中支持Hive
-Dhadoop.version：hadoop版本号
-Dyarn.version：yarn版本号

编译方式二：sbt
SPARK_HADOOP_VERSION=2.3.0-cdh5.0.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly

参数说明：同编译方式一

编译方式三：make-distribution.sh
./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --with-hive --tgz

参数说明：注意要严格按照如下参数顺序（可参考make-distribution.sh）
--hadoop VERSION：对应的Hadoop版本，默认为1.0.4
--with-yarn：是否支持YARN，默认不支持
--with-hive：是否支持在Spark SQL 中使用hive，默认不支持
--with-tachyon：是否支持Tachyon，默认不支持
--tgz：在根目录下生成 spark-$VERSION-bin.tgz，默认不生成
--name NAME：和--tgz结合可以生成spark-$VERSION-bin-$NAME.tgz的部署包，默认NAME为hadoop的版本号

Spark1.0源码编译

时间： 2024-10-12 20:06:05

Spark1.0源码编译的相关文章

云帆大数据学院_hadoop 2.2.0源码编译

2.1下载地址 1.ApacheHadoop(100%永久开源)下载地址: - http://hadoop.apache.org/releases.html - SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/ 2.CDH(ClouderaDistributed Hadoop,100%永久开源)下载地址: - http://archive.cloudera.com/cdh4/cdh/4/(是tar.gz文件!) - http:

jmeter4.0 源码编译 二次开发

准备: 1.jmeter4.0源码 - apache-jmeter-4.0_src.zip 2.IDE Eclipse - Oxygen.3 Release (4.7.3) 3.JDK - 1.8.0_122 开始: 1.新建java project 2.导入jmeter4.0源码 导入源码后项目结构: 3.Ant 下载编译依赖的jar,下载后的jar包会在 %eclipse_workspace%\jmeter_leocnx\MyJmeter\lib目录下 首先去除掉install,选择down

Spark2.0.0源码编译

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2

Android 5.0源码编译问题

转载: http://blog.csdn.net/shineflowers/article/details/41545057 如果是自己通过repo和git直接从google官网上download的源码,请忽略这个问题,但是由于google在国内被限制登录,通过这一种方法不是每个人都能download下来源码,通常的做法就是从别人那拷贝,然后自己编译,那么通常会出现下面的错误: No rule to make target 'external/chromium_org/third_party/a

[leveldb]0.源码编译及使用

一.LevelDB简介 LevelDB是Google开源的持久化KV单机数据库,具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景.LevelDB应用了LSM (Log Structured Merge) 策略,lsm_tree对索引变更进行延迟及批量处理,并通过一种类似于归并排序的方式高效地将更新迁移到磁盘,降低索引插入开销,关于LSM,本文在后面也会简单提及. 根据Leveldb官方网站的描述,LevelDB的特点和限制如下

Kettle 5.0源码编译

下载源码请参考上一篇博文Kettle4.4.2源码分析 Kettle 5.0以前的库文件通过ant管理,5.0+的库文件通过ant+ivy管理.Eclipse一般都是安装ant插件,不安装ivy插件,在编译之前先在eclipse安装ivyde插件. 安装ivyde插件 启动Eclipse,Help -> Install New Software..,输入http://www.apache.org/dist/ant/ivyde/updatesite 全部安装,安装完毕重启Eclipse,在wind

Ubantu16.04进行Android 8.0源码编译

分为4个流程 源码下载 构建编译环境 编译源码 运行 源码下载 安装git并且配置 //安装git sudo apt-get install git //配置git名称和邮箱 git config --global user.name "your name" git config --global user.email "[email protected]" 创建repo的bin目录和源码目录 创建repo的bin目录 midir ~/bin 创建源码目录 midi

Elasticsearch7.5.0源码编译

环境及工具 JDK12 Gradle5.6.2 GIT 源码及预处理 到github将代码clone下来,可以根据自己的需求来获取版本,例如 git checkout v7.5.0 提前下载gradle5.6.2 zip文件 从https://services.gradle.org/distributions/gradle-5.6.2-all.zip copy gradle-5.6.2-all.zip 到C:\Users\username\Documents\GitHub\elasticsear

hadoop 2.6.0源码编译

这里面选择的HADOOP的版本为2.6.编译前需要准备的如下工具: HADOOP:   hadoop-2.6.0-src.tar.gz JDK:   jdk-7u71-linux-x64.tar.gz MAVEN:  apache-maven-3.0.5-bin.tar.gz PROTOBUF:   protobuf-2.5.0.tar.gz FINDBUGS:    findbugs-3.0.0.tar.gz ANT:  apache-ant-1.9.4-bin.tar.gz 1.分别解压ha