mac os x 编译spark-2.1.0 for hadoop-2.8.0

mac os x maven编译spark-2.1.0 for hadoop-2.8.0

1.官方文档中要求安装Maven 3.3.9+ 和Java 8 ;

2.执行

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

3.cd spark2.1.0源码根目录下
./build/mvn -Pyarn -Phadoop-2.8 -Dhadoop.version=2.8.0 -Dscala-2.11 -Phive -Phive-thriftserver -DskipTests clean package

4切换到编译完的dev目录下执行下面命令打包

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.8 -Phive -Phive-thriftserver -Pyarn

参考：
http://spark.apache.org/docs/latest/building-spark.html

时间： 2024-10-13 21:57:54

mac os x 编译spark-2.1.0 for hadoop-2.8.0的相关文章

在 Mac OS 上编译 FFmpeg

本文转自:在 Mac OS 上编译 FFmpeg | www.samirchen.com 安装 Xcode 和 Command Line Tools 从 App Store 上安装 Xcode,并确保在 Xcode 的 Preferences -> Downloads -> Components 下安装好 Command Line Tools. 当然你也可以从 https://developer.apple.com/ 下载 Xcode 和 Command Line Tools. 安装 brew

Spark 1.0.0 部署Hadoop 2.2.0上

源码编译我的测试环境: 系统:Centos 6.4 - 64位 Java:1.7.45 Scala:2.10.4 Hadoop:2.2.0 Spark 1.0.0 源码地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz 解压源码,在根去根目录下执行以下命令(sbt编译我没尝试) ./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz --with-hive 几个重要参数 --ha

在mac os下编译android -相关文章

1. Mac OS X下编译Android源码 http://blog.csdn.net/bulreed/article/details/22783467 2.MAC OS 编译 Android源代码 http://blog.sina.com.cn/s/blog_768cfa5901011zod.html 3. Setting Up A Build Environment on OS X 10.9 Mavericks http://blog.csdn.net/michaelpp/article/

linux编译64bitHadoop (eg: ubuntu14.04 and hadoop 2.3.0)

Hadoop官网提供的编译好的hadoop-2.3.0.tar.gz二进制包是在32位系统上编译的,在64系统上运行会有一些错误,比如: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 此时需要自行编译hadoop 2.30 源码.本人编译的hadoop 2.30的二进制包经实验证明可以

MAC OS上编译mod_wsgi不成功问题的解决办法

最近接触了一点Django,用来做web开发效率真的很高.在本机玩很方便,起个命令,然后在浏览器里127.0.0.1就可以看到页面.但是发现把IP给别人,从别人的机器上访问就不行.原来是因为没有安装一个重要模块mod_wsgi,这个模块是干啥用的?就是python和apache之间的桥接作用,因为Django是用python写的. 于是从github上下载了mod_wsgi的源代码,按照教程却编译失败,提示:fatal error: 'httpd.h' No such file or di

MAC OS下编译apple跨平台的libevent库（可延申到其它第三库）

apple下的跨平台是指不同设备上的苹果系统以及同一系统在不同cpu体系的不同版本. 前面一篇介绍如何用ndk编译android跨平台的第三库,那样的方法却不能应用在apple上. 网上可以找到这么一个脚本,其主要过程和功能如下图: 脚本主要依靠了xcrun -sdk命令来搜索出平台关联的编译程序和SDK目录位置.不像ndk的目录结构,苹果的目录结构不清晰有些又不统一,xcrun就是这个咨客,问它就是了. 只要将脚本中相应的容器修改就可以应用到其它第三库的编译中去. 接下来就编译过程中的怪问题.

Mac OS X上尝试编译CoreCLR源代码

CoreCLR登陆GitHub之后,体验CoreCLR首当其冲的方式就是在自己的电脑上编译它,昨天分别在Windows与Linux上成功编译了CoreCLR,详见: 1)Windows上成功编译CoreCLR源代码 : 2)Linux上成功编译CoreCLR源代码 . Windows与Linux上编译成功之后,有一个挡不住的冲动——在Mac上编译CoreCLR.虽然微软目前优先考虑的是Windows与Linux两个平台,CoreCLR的编译暂时不支持Mac OS X,但我最期待的却是在Mac O

Docker 安装 on Mac OS X

一.简介 Docker是一个开源的容器引擎,能提供虚机化,从而达到隔离应用,可移植到任意安装有Docker的机器上运行,这对开发者来说是一个极大的福音. 由于工作上原因,最近准备开始使用Docker(公司装Docker的时候,linux server内核版本太低,需要重新编译). 本文主要讲解如何在Mac OSX上安装Docker. Tips:由于Docker引擎是使用了特定于Linux内核的特性,所以需要安装一个轻量级的虚拟机(如VirtualBox)来在OSX上运行. 所以需要下载官方提供的

Nginx 安装 (mac os) 错误 ld: symbol(s) not found for architecture x86_64

今天在mac os 上编译安装Nginx时候,报错:ld: symbol(s) not found for architecture x86_64, 经过一番折腾之后发现,由于Nginx依赖openssl库,查看openssl的./config 文件发现,这个问题应该是 openssl/config脚本猜对你的系统是64位,但是会根据$KERNEL_BITS来判断是否开启x86_64编译,默认不开启,他会给你5秒时间确认是否停止编译,手动设置x86_64编译,所以默认你生成的openssl库文