(9)ubuntu下hadoop1.0.4源码编译

本机环境:

ubuntu 12.04  32位

jdk 1.7

(1)maven-3.2.2的安装

首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2

解压到/usr/local/目录下: tar -zxvf  apache-maven-3.2.2-bin.tar.gz,并重命名为maven

修改 /etc/profile:

添加一下两个变量并保存:

export M2_HOME=/usr/local/maven

export PATH=.:$M2_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:mvn  -v,如果出现下面提示表示安装成功:

(2)ant-1.9.4的安装

首先到Ant的官方网站下载,http://ant.apache.org/, 这里我下载最新版本,ant-1.9.4

解压到/usr/local/目录下: tar -zxvf  apache-ant-1.9.4-bin.tar.gz,并重命名为ant

修改 /etc/profile:

添加一下两个变量并保存:

export ANT_HOME=/usr/local/ant

export PATH=.:$ANT_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:ant  -version,如果出现下面提示表示安装成功:

(3)protobuf-2.5.0的安装

首先到protobuf官方网站下载,https://code.google.com/p/protobuf/downloads/list,这里我下载最新版本,protobuf-2.5.0。

解压到/usr/local/目录下: tar -zxvf  protobuf-2.5.0.tar.gz,并重命名为protobuf

在进行下一步安装之前,我们要把一些必要的库或软件安装上:

apt-get install build-essential

apt-get install autoconf

apt-get install automake

apt-get install libtool

接下来按照:A、./configure  B、make  C、make check  D、make install的步骤安装。

(4)jdk1.6安装

这里见前面的文章即可,不在重复叙述。最好不要装jdk1.7,会有一些兼容性问题导致不能安装成功。

(5)下载hadoop1.0.4源码并进行编译

源码的下载可以到 https://github.com/apache/hadoop-common/releases,hadoop-common-release-1.0.4.tar.gz下载,要标有rc标志的才是源码,一般都是20多M,已编译好的一般有60M。

解压:tar -zxvf  hadoop-common-release-1.0.4.tar.gz,

然后进入hadoop目录,输入:ant package。

不过呢,编译1,2分钟后,就显示BUILD FAILED了。错误信息如下:

<span style="color:#ff0000;">java5.check:

BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1343: 'java5.home' is not defined.  Forrest requires Java 5.  Please pass -Djava5.home=<base of Java 5 distribution> to Ant on the command-line.

Total time: 2 minutes 12 seconds</span>

说是要我们在ant package命令之后添加-Djava5.home=<jdk5的安装路径>。也就是说要我们安装java5,可能是hadoop1.0.4版本比较旧的关系,要求的jdk也比较旧,这里,有两个解决方案:

方案1:当然就是安装java5,然后再输入命令后面加入java5安装路径,ant package -Djava5.home=<jdk5安装路径>。

方案2:进入hadoop源码目录,找到build.xml注释某一段代码,可以让我们忽略这一个警告,我就是用方案2实现的。

build.xml:

接下来,我们再重新编译:ant package

这次,我们又碰上编译失败,不过这次不是提示上一次的错误信息了,让我们看看这次是什么错误:

<span style="color:#ff0000;">BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1598: The following error occurred while executing this line:
/usr/local/hadoop-common-release-1.0.4/build.xml:2781: exec returned: 2

Total time: 2 minutes 10 seconds</span>

这是一个网上已经解决的bug,解决方案:

到Hadoop源码目录下找到src/c++/task-controller/configure.ac文件,

找到AC_SYS_LARGEFILE这一行,注释掉即可。

重新编译ant package,这次终于成功了!

进入build文件夹,可以发现多了个hadoop-1.0.4-SNAPSHOT文件夹,这个就是我们已经编译好的hadoop文件,进入看可以发现和网上提供的hadoop文件时一样的。

我们现在就可以使用这个hadoop文件进行部署开发了。

参考:

(1)http://my.oschina.net/quanzl/blog/172816

(2)http://f.dataguru.cn/thread-34452-1-1.html

(3)http://my.oschina.net/zhujinbao/blog/54383

(4)http://www.aboutyun.com/thread-6504-1-1.html

时间: 2024-10-06 12:03:37

(9)ubuntu下hadoop1.0.4源码编译的相关文章

烂泥:mysql5.0数据库源码编译安装

本文首发于烂泥行天下. 本次实验的mysql.OS相关信息如下: Mysql:5.0.96 OS:centos 32 bit 最近公司要上新的业务,指明数据库使用的是mysql5.0版本.如果是使用rpm包安装的话,那就很简单了.直接使用yum安装即可,命令如下: yum –y install mysql mysql-server Yum方式安装完毕后,直接启动mysql数据库服务即可.如下图: 这样基本上就可以了. 但是这样安装mysql数据库,没有进行定制.比如mysql数据库的数据文件存储

CentOS6.5下搭建LAMP环境(源码编译方式)

CentOS 6.5安装配置LAMP服务器(Apache+PHP5+MySQL) 学习PHP脚本编程语言之前,必须先搭建并熟悉开发环境,开发环境有很多种,例如LAMP ,WAMP,MAMP等.这里我介绍一下LAMP环境的搭建,即Linux. Apache. MySQL .PHP环境. 一.首先安装操作系统 操作系统:centos6.5 操作系统安装步骤,此处不再详述. 备注:服务器系统采用最小化安装,安装一下GCC编译工具和一个桌面即可.如下图所示: 由于安装系统的时候我是最小化安装,只安装了一

Ubuntu14.04下zabbix2.4.5 源码编译安装

安装环境: Ubuntu14.04 LTS  mysql 5.6 php-fpm nginx 1.8.0 第一部分,php+mysql+nginx组件安装 1.系统更新 sudo apt-get update && sudo apt-get upgrade 2.安装php-fpm zabbix的web前端是用php写成的,需要php来运行 sudo apt-get install php-fpm (当然也可以源码编译php) 3.源码编译 mysql5.6 1. 安装环境: Mysql-5

Win7 32bit下hadoop2.5.1源码编译与平台搭建中遇到的各种错误

本文从一个小白在安装hadoop遇到的各种困难和错误说起,也希望得到大神的指点. 首先hadoop更新很快,最新的是hadoop2.5.1,因此就介绍下在安装2.5.1时遇到的各种困难. 如果直接准备在系统上安装binary版本的,可以参考http://www.cnblogs.com/kinglau/p/3270160.html.在下载好hadoop文件时,一定要注意下载的hadoop版本是否与本机的系统版本相对应,如32bit的还是64bit的,否则在执行start-all.sh时会报错.我就

在ubuntu下获取对应内核源码命令

输入:apt-cache search linux-source //查看内核版本 1.使用apt-get source 方法,会下载到当前目录,并且会直接解压: apt-get source linux-source-2.6.32   #或者其他编号 2.使用apt-get install,会下载到/usr/src下,不会解压. 敲完下面命令后可以按二次Tab键看看可以安装什么内核的源码(库中不一定有). sudo apt-get install linux-source 如果提示是已经安装了

在ubuntu下,进行php7源码安装

作为一名php的攻城师,如果没有玩php源码安装是说不过去的.我们知道php之所以这么流行,跟它的开源文化和lamp配套有很大关系.由于PHP7废弃了很多功能,所以一些依赖这些功能的程序可能无法运行,尝鲜前请三思.比如很多国产软件都在依赖的mysql相关函数,如果自己开发php应用请用mysqli代替.不过WordPress是没有问题的,尽情使用吧. 下面进入正题,第一步,当然是下载源码和解压 $ cd ~ $ wget http://cn2.php.net/distributions/php-

android 5.0 (lollipop)源码编译环境搭建(Mac OS X)

硬件环境:MacBook Pro Retina, 13-inch, Late 2013 处理器  2.4 GHz Intel Core i5 内存  8 GB 1600 MHz DDR3 硬盘60G以上 软件环境:OS X 10.9.2 GNU Make 3.81 Python 2.7.5 XCode 5.0.2 java version "1.7.0_55" repo VERSION = (1, 21) 某收费VPN(代理FAN墙是下载不了的,请使用VPN) (软件版本问题非常可能导

zabbix3.0.4源码编译安装

本文简单介绍下zabbix3.0.4的安装. 环境: 数据库:192.168.115.12 nginx:192.168.115.31 php:192.168.115.31 zabbix:192.168.115.31 一.安装nginx1.10.1 1.编译软件 # yum install pcre-devel openssl-devel # tar xf nginx-1.10.1.tar.gz # cd nginx-1.10.1 # ./configure --prefix=/usr/local

spark2.0.1源码编译

一.编译源码步骤演示详解 . 编译spark环境要求 1.必须在linux系统下编译(以centos6.4为例) 2.编译使用的JDK版本必须是1.6以上(以JDK1.8为例) 3.编译需要使用Maven版本3.0以上(以Maven3.3.9为例) 4.编译需要使用Scala(以scala-2.11.8为例) . 编译spark所需要的包 1.spark-2.0.1.tgz:下载spark编译的源码包,提供apache下载页面http://archive.apache.org/dist/spar