Linux64位操作系统（CentOS6.6）上如何编译spark1.3

1.在官网下载1.3.0源码后执行如下命令：

./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver

2.参数说明：

--tgz 生成部署包；
--skip-java-test 滤过测试阶段；
--with-tachyon 感觉tachyon是趋势，所以加上tachyon的支持；
-Dhadoop.version 指定hadoop的版本，默认为1.0.4；
-Djava.version 指定java版本，默认是1.6；
-Dprotobuf.version 指定protobuf的版本，默认是2.4.1；这里指定是因为hadoop使用的2.5.0，不修改的话搭配的时候会出问题；
-Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。

3.一个多小时后出现BUILD SUCCESS,即编译成功，可在spark-1.3.0文件夹中找到编译的文件。

时间： 2024-10-05 09:56:54

Linux64位操作系统（CentOS6.6）上如何编译spark1.3的相关文章

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一.准备编译软件 1.在官网下载jdk1.7.maven3.2.1.ant1.9.4,解压设置好环境变量就可以用. 环境变量设置如下: (1)执行vim /etc/profile (2)在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/home/spark/apache-maven-3.2.1 export ANT_HOME=/home/spark/apache-ant-1.9.4 export PATH=

CentOS6.5_x64上简单编译配置Heartbeat3.0.4

Heartbeat 3与 2.x的最大差别在于,3 按模块把的原来2.x 拆分为多个子项目,并且提供了一个cluster-glue的组件,专用于Local ResourceManager 的管理.即heartbeat + cluster-glue + resouce-agent 三部分: 引用 (1)hearbeat本身是整个集群的基础(cluster messaging layer),负责维护集群各节点的信息以及它们之前通信: (2)cluster-glue相当于一个中间层,可以将heartb

Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译

下载Hadoop源码 1.登录官网 2.确定你要安装的软件的版本一个选取原则: 不新不旧的稳定版本几个标准: 1)一般来说,刚刚发布的大版本都是有很多问题 2)应该选择某个大版本中的最后一个小版本阅读编译文档 1.准备一个hadoop源码包,我选择的hadoop的版本是:hadoop-2.7.5-src.tar.gz,在hadoop-2.7.5-src.tar.gz的源码包根目录下有一个文档叫做BUINDING.txt,这其中说明了编译hadoop所需要的一些编译环境相关的东西.不同的ha

Linux系统centos6.7上安装libevent

1 下载地址:http://libevent.org/ 2.解压 tar zxvf libevent-2.0.21-stable.tar.gz 安装前请先安装 gcc yum install gcc 3.配置安装路径 cd libevent-2.0.21-stable ./configure -prefix=/usr4.编译并安装 make make install5.测试libevent是否安装成功: # ls -al /usr/lib | grep libevent ============

linux64位操作系统装32位jdk解决方法

/opt/tomcat/tomcat7.0/bin/catalina.sh: /usr/local/java/jdk1.7.0_79/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录解决方法:yum install glibc.i686

CentOS6.7上编译安装Apache2.2和Apache2.4

目录一.Apache的工作模式 1.简介 2.比较二.CentOS6.x上安装Apache2.2 (一)rpm安装apache (二)编译安装apache 1.安装编译环境 2.下载解压依赖包 3.安装apache 4.测试apache 5.查看apache相关信息 6.配置程序运行环境 7.导出库文件 8.导出头文件 9.导出手册 10.将Apache添加到启动服务 (三) 编译安装Apache2.4 1.编译安装apr 2.编译安装apr-util 3.安装需要的依赖包 4.编译安装Ap

在CentOS6.7上编译安装MySQL 5.7.11

系统环境:CentOS 6.7MYSQL版本:5.7.11 安装依赖包yum -y install gcc gcc-c++ ncurses ncurses-devel cmake 查看系统是否自带mysql和boost,如有则先卸载rpm -qa mysql boostyum remove -y mysql rm /etc/my.cnf -f #删除系统原有的mysql配置文件,如果有的话yum remove -y boost 下载相应源码包cd ~/tools/wget http://

在64位操作系统上使用FlashDevelop的Debug功能

最近用上了FlashDevelop.与Flash Builder比起来,它确实优点很多:小巧,快速,灵活的定制功能,免费且开源. 使用FlashDevelop开发AS/Flex/AIR程序的时候,可以使用Flex SDK来编译和调试.Flex SDK使用JAVA写成,需要系统中安装JAVA虚拟机(JVM).而我的系统中已经安装了64位的JAVA虚拟机. 在调试的时候,FlashDevelop报告了下面的错误. Debugger startup error: System.BadImageForm

64位系统上设置编译平台为x86的项目编译在特定的情况下比如当一个窗体上放有包含了图像的ImageList之后，ResGen就会产生这种问题

随笔 - 1 文章 - 0 评论 - 3 未能加载文件或程序集“****”或它的某一个依赖项.试图加载格式不正确的程序.解决方案总结当这个ImageList中没有图像时编译也是正常的,但是一旦编译就会引发这样的异常. 这个错误产生的原因在于,VS2010内部使用的编译器中,无论是32位还是64位的编译组件,都是纯IL的,也就是在64位系统中是以64位模式运行,这与当前项目使用的平台设置无关.当编译的组件引用了一个标记为x86的库(仅32位模式)时,编译组件便会发生错误,无法加载,从而导致编