hadoop 2.6.0源码编译

这里面选择的HADOOP的版本为2.6.编译前需要准备的如下工具:

HADOOP:   hadoop-2.6.0-src.tar.gz

JDK:   jdk-7u71-linux-x64.tar.gz

MAVEN:  apache-maven-3.0.5-bin.tar.gz

PROTOBUF:   protobuf-2.5.0.tar.gz

FINDBUGS:    findbugs-3.0.0.tar.gz

ANT:  apache-ant-1.9.4-bin.tar.gz

1、分别解压hadoop、JDK、MAVEN 、PROTOBUF 、FINDBUGS 、 ANT。这里以/app为根目录:

tar -zxvf  hadoop-2.6.0-src.tar.gz

tar -zxvf    jdk-7u71-linux-x64.tar.gz

tar -zxvf   apache-maven-3.0.5-bin.tar.gz

tar -zxvf   protobuf-2.5.0.tar.gz

tar -zxvf    findbugs-3.0.0.tar.gz

tar -zxvf   apache-ant-1.9.4-bin.tar.gz

对解压后的JDK 、ANT、PROTOBUF 、FINDBUGS重命名:

mv jdk-7u71-linux-x64   jdk7

mv protobuf-2.5.0  protobuf

mv findbugs-3.0.0  findbugs

mv apache-ant-1.9.4 ant

2、配置环境变量

export JAVA_HOME=/app/jdk7

export MAVEN_HOME=/app/apache-maven-3.0.5

export ANT_HOME=/app/ant

export FINDBUGS_HOME=/app/findbugs

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=.:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin:$PATH:$CLASSPATH

3、分别验证安装是否成功:

java -version

java version "1.7.0_71"

Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

mvn -version

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)

Maven home: /app/apache-maven-3.0.5

Java version: 1.7.0_71, vendor: Oracle Corporation

Java home: /app/jdk7/jre

Default locale: zh_CN, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"

ant -version

Apache Ant(TM) version 1.9.4 compiled on April 29 2014

findbugs -version

3.0.0

如果出现上面的提示,说明 安装成功

4、安装 protobuf所有依赖:

yum install gcc

yum intall gcc-c++

yum install make

yum install cmake

yum install openssl-devel

yum install ncurses-devel

5、安装protobuf-2.5.0.tar.gz:

cd /app/profobuf 目录中执行如下登命令:

./configure

make

make check

make install

验证:

protoc --version

libprotoc 2.5.0

6、编译HADOOP:

cd /app/hadoop-2.6.0-src

在该目录中用如下命令:

mvn clean install -DskipTests

mvn package -DskipTests -Pdist ,native ,docs -Dtar 或者
        mvn package -Pdist,native -DskipTests -Dtar

由于这里面没有配置MAVEN镜象地址所以下载比较慢。接下来就是等了。

7、查看编译完的文件:

cd /app/hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0/lib/native

用如下命令:

file *

显示如下已经编译成功:

libhadoop.a:        current ar archive

libhadooppipes.a:   current ar archive

libhadoop.so:       symbolic link to `libhadoop.so.1.0.0‘

libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

libhadooputils.a:   current ar archive

libhdfs.a:          current ar archive

libhdfs.so:         symbolic link to `libhdfs.so.0.0.0‘

libhdfs.so.0.0.0:   ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

时间: 2024-08-03 08:43:28

hadoop 2.6.0源码编译的相关文章

Spark1.0源码编译

编译方式一:mavenexport MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"mvn -Pyarn -Phive -Dhadoop.version=2.3.0-cdh5.0.0 -Dyarn.version=2.3.0-cdh5.0.0 -DskipTests clean package 参数说明:-Pyarn:支持yarn -Phive:Spark SQL中支持Hive-Dhadoop

云帆大数据学院_hadoop 2.2.0源码编译

2.1下载地址 1.ApacheHadoop(100%永久开源)下载地址: - http://hadoop.apache.org/releases.html - SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/ 2.CDH(ClouderaDistributed Hadoop,100%永久开源)下载地址: - http://archive.cloudera.com/cdh4/cdh/4/(是tar.gz文件!) - http:

Spark2.0.0源码编译

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2

jmeter4.0 源码编译 二次开发

准备: 1.jmeter4.0源码 - apache-jmeter-4.0_src.zip 2.IDE Eclipse - Oxygen.3 Release (4.7.3) 3.JDK - 1.8.0_122 开始: 1.新建java project 2.导入jmeter4.0源码 导入源码后项目结构: 3.Ant 下载编译依赖的jar,下载后的jar包会在 %eclipse_workspace%\jmeter_leocnx\MyJmeter\lib目录下 首先去除掉install,选择down

Android 5.0源码编译问题

转载: http://blog.csdn.net/shineflowers/article/details/41545057 如果是自己通过repo和git直接从google官网上download的源码,请忽略这个问题,但是由于google在国内被限制登录,通过这一种方法不是每个人都能download下来源码,通常的做法就是从别人那拷贝,然后自己编译,那么通常会出现下面的错误: No rule to make target 'external/chromium_org/third_party/a

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤: 前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一. 下载必要的组件 a) 下载hadoop源码 (当前最新的稳定版是2.6.0)地址  http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz b) 下载apache-ant (centos自带的ant版本太低,编译过程中会报错)地址: http://mi

hadoop 2.5.2源码编译

编译过程漫长无比,错误百出,需要耐心耐心!! 1.准备的环境及软件 操作系统:Centos6.4 64位 jdk:jdk-7u80-linux-x64.rpm,不要使用1.8 maven:apache-maven-3.3.3-bin.tar.gz protobuf:protobuf-2.5.0.tar.gz 注:谷歌的产品,最好是提前百度准备一下这个文件 hadoop src:hadoop-2.5.2-src.tar.gz     hadoop的官网下载 ant:apache-ant-1.9.6

[leveldb]0.源码编译及使用

一.LevelDB简介 LevelDB是Google开源的持久化KV单机数据库,具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景.LevelDB应用了LSM (Log Structured Merge) 策略,lsm_tree对索引变更进行延迟及批量处理,并通过一种类似于归并排序的方式高效地将更新迁移到磁盘,降低索引插入开销,关于LSM,本文在后面也会简单提及. 根据Leveldb官方网站的描述,LevelDB的特点和限制如下

Kettle 5.0源码编译

下载源码请参考上一篇博文Kettle4.4.2源码分析 Kettle 5.0以前的库文件通过ant管理,5.0+的库文件通过ant+ivy管理.Eclipse一般都是安装ant插件,不安装ivy插件,在编译之前先在eclipse安装ivyde插件. 安装ivyde插件 启动Eclipse,Help -> Install New Software..,输入http://www.apache.org/dist/ant/ivyde/updatesite 全部安装,安装完毕重启Eclipse,在wind