CentOS6.5 Linux上面编译Hadoop2.4源码

今天来说说编译hadoop源码的事情吧~

1、首先下载源码

地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop

tar zxvf hadoop-2.4.0-src.tar.gz

3、Linux编译环境准备

• java环境准备

参照：http://blog.csdn.net/enson16855/article/details/8708574

• maven环境

下载地址：http://maven.apache.org/download.cgi

解压到指定文件夹：/home/hadoop/soft/

配置maven本地仓库，编辑maven下 conf/settings.xml文件

<localRepository>/home/hadoop/soft/repo</localRepository>

• ant环境

下载地址：http://ant.apache.org/bindownload.cgi

以上maven，JDK，ant的配置如下：

root用户下面编辑/etc/profile

命令如下：

vim /etc/profile

在此文件最后面加上以下内容

export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH"

export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH"

export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH"

export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH

• openssl库的安装

采用yum方式安装，yum配置参照：http://blog.csdn.net/enson16855/article/details/9140623

命令如下：root用户哦~

yum install openssl

• CMake安装

与openssl的安装一样，采用yum安装：

yum install cmake

• protobuf的安装

下载：

wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

下载完成解压：

tar zxvf protobuf-2.5.0.tar.gz

进入解压的文件夹中，执行以下命令：

sudo ./configure
sudo make
sudo make check
sudo make install
sudo ldconfig 

验证：

4、编译hadoop2.4源码

执行以下命令：

mvn package -Pdist,native -DskipTests -Dtar  

进到~/hadoop-2.4.0-src/hadoop-dist/target文件夹中有：

CentOS6.5 Linux上面编译Hadoop2.4源码