Spark 1.1.0 编译(为了支持hbase 0.98.6)

为了支持hbase0.98.6，需要重新编译spark

1. 下载spark 1.1.0源代码，以及 scala-2.10.4的bin包。

将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置。

2. 下载较新的pom.xml (https://github.com/tedyu/spark)

　　将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来，覆盖至用于编译的spark源代码中。

3. 进入源代码目录编译

export SCALA_HOME=/hbase/scala-2.10.4
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
/data2/hadoop_source/apache-maven-3.2.3/bin/mvn -Dhbase.profile=hadoop-provided -Phadoop-2.4,yarn -Dhadoop.version=2.4.1 -DskipTests -Dhbase.version=0.98.6-hadoop2 -e clean package

4. 测试hbase的example

/hbase/spark/bin/spark-submit --class org.apache.spark.examples.HBaseTest --master yarn-cluster --num-executors 3 --driver-memory 1024m  --executor-memory 1024m --executor-cores 3 /hbase/spark/lib/spark-examples*.jar 20

时间： 2024-11-10 01:08:17

Spark 1.1.0 编译(为了支持hbase 0.98.6)的相关文章

CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14

转载自http://www.osyunwei.com/archives/7891.html 准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemc

CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14方法分享

一.配置防火墙,开启80端口.3306端口CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙.1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/ipta

gcc 9.2.0 编译安装mysql 8.0.17

环境说明: CentOS Linux release 7.4.1708 (Core)内核版本: 3.10.0-693.el7.x86_64工作目录:/usr/local/src/mysql 安装目录:/apps/program其它程序安装目录:/usr/local/程序名+版本号安装源码准备 cd /usr/local/src/ wget https://mirrors.ustc.edu.cn/gnu/gmp/gmp-6.1.2.tar.xz wget https://mirrors.ustc

使用QT 4.8.6 + Cmake 3.0.0 编译最新版本OpenCv3.0.0

mingw32 (x32) gcc 4.8.1 g++ 4.8.1 qt 4.8.6 opencv-3.0.0 2015-06-04 cmake 3.3.0-rc1 windows 7 x64 参考文章: http://blog.csdn.net/qiurisuixiang/article/details/8665278 -------------- -------------------------------- 修改 opencv/sources/CMakeLists.txt 行数: 174

Hbase 0.95.2介绍及下载地址

HBase是一个分布式的.面向列的开源数据库,该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”.就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式.www.169it.com H

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

一. hadoop2.2.0的安装启动错误总结关于hadoop在启动时datanode无法启动问题 1.core-site.xml文件中没有配置从节点 2.slave配置文件中没有添加从节点 3.所有节点的host链表不统一或有错位 4.因为多次formate namenode造成namenode和datanode的clusterID不一致解决方案: 删除所有节点/home/hadoop/hadoop-2.2.0/dfs/data/下 curren目录 <name>hadoop.tmp.d

CentOS 6.4 64位源码编译hadoop 2.2.0

CentOS 6.4 64位源码编译hadoop 2.2.0 搭建环境:Centos 6.4 64bit 1.安装JDK 参考这里2.安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip解压文件后,同样在/etc/profie里配置环境变量vim /etc/profieexport

CentOS 7.0编译安装Nginx+MySQL+PHP

转自http://www.centoscn.com/CentosServer/www/2014/0904/3673.html 准备篇: CentOS 7.0系统安装配置图解教程 http://www.centoscn.com/image-text/setup/2014/0724/3342.html 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop fi

centos6.5编译安装zabbix3.0和中文支持整理文档

编者按: 最近公司部分业务迁移机房,为了更方便的监控管理主机资源,决定上线zabbix监控平台.运维人员使用2.4版本的进行部署,个人在业余时间尝鲜,使用zabbix3.0进行部署,整理文档如下,仅供参考! 1. LNMP基础环境搭建: nginx-1.9.11环境编译安装:参考 http://www.cnblogs.com/songqingbo/articles/5355025.html location / { root html; index index.php index.html in