centos6.5 64位下编译hadoop2.5.1源码

  1. 需要的工具:centos6.5 -64bit
  2. 需要的软件:java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

    检测系统中是否已安装了某一软件命令:rpm -qa|grep 软件名,如检测系统中是否安装了svn:

    $ rpm -qa|grep svn

  3. 如果已安装,则跳过,如果没有安装,用命令:yum install svn进行安装,如:

    $ yum install svn

    如果yum命令安装失败(找不到相应的包),则需手动下载相应的软件包进行安装,比如maven, protobuf这两个个软件;

接下需要首先去apach官网下载hadoop2.5.1源码包,并解压;之后安装jdk、maven、ant.详细步骤网上很多。

问题导读:

1.如果获取hadoop src  maven包?
        2.编译hadoop需要装哪些软件?
        3.如何编译hadoop2.4?
        扩展:
        编译hadoop为何安装这些软件?

protobuf的安装
            为防止出错,这里补充一些内容,
                先安装g++

sudo apt-get install g++

centos 下:yum install gcc-c++

下载 protobuf-2.5.0.tar.gz   网盘下载链接:http://pan.baidu.com/s/1dDgWe6P 密码:xgiu

解压  tar zxvf protobuf-2.5.0.tar.gz

$ sudo ./configure

$ sudo make

$ sudo make check

$ sudo make install

$ sudo ldconfig

如果系统中已经存在了低版本的protobuf,并被识别出来,则进行如下设置

修改环境变量:

vi /etc/profile

export LD_LIBRARY_PATH=~/protobuf-2.5.0

(LD_LIBRARY_PATH的这里,填写的是protobuf文件的位置)

source /etc/profile

注意:配置/etc/profile,在虚拟机重启后,可能配置会失效,所以重启后,需要再次执行source操作。

验证   protoc --version

.安装openssl库

sudo apt-get install libssl-dev  / yum install openssl

CMake安装

sudo apt-get install cmake /  sudo yum install cmake

安装findbugs(选择安装)

$ wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download
$ sudo tar zxf findbugs-2.0.3.tar.gz -C /opt
$ sudo vim /etc/profile
export FINDBUGS_HOME=/opt/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin

验证:
[[email protected] bin]# fb -version
2.0.3

进入src包执行编译命令

mvn package -Pdist,native -DskipTests -Dtar  --不生成文档

生成文档的还未试验

使用-Pdocs选项可以生成文档,当然前提是安装了Forrest 和Findbugs  可以参考如下命令手动指定:FORREST_HOME和FINDBUGS_HOME.

mvn package -Pdocs -DskipTests -Dtar -Dmaven.test.skip -Denv.FORREST_HOME=/usr/local/apache-forrest  -Denv.FINDBUGS_HOME=/usr/local/findbugs

生成的文档在各自的target/site目录下.

记录:

jdk1.8下编译会有处理注释标签的问题。类似于一下问题:

[ERROR] Exit code: 1 - /home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag: </ul>

时间: 2024-10-09 13:33:55

centos6.5 64位下编译hadoop2.5.1源码的相关文章

centOS 64位下编译hadoop2.4.1

1. 安装JDK a.      解压jdk [[email protected] software]$ tar -xvzf jdk-7u60-linux-x64.tar.gz b.      设置环境变量 PATH=$PATH:$HOME/bin export JAVA_HOME=/home/bigdata001/BigDataPlatform/jdk1.7.0_60 export JAVA_BIN=$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/li

linux下编译hadoop2.4.1源码

提示:最好在64位操作系统下编译.虚拟机内存不低于2G,硬盘空间不低于10G 首先安装google的protobuf yum install glibc-headersyum install gcc yum install gcc-c++ yum install makeyum install cmake yum install openssl-devel yum install ncurses-develtar zxvf protobuf-2.5.0.tar.gzcd protobuf-2.5

Hadoop 2.2.0 在CentOS6.2 64位下的编译

最近在学习搭建Hadoop,直接从Apache官方网站直接下载最新版本Hadoop2.2,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告.Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 所以需要重新在64位的机器上编译hadoop. 1.安装JDK 下载JDK1.7的Linux 64位版本jdk-7u15-linux-x64

centos6.5 64位下安装私有npm

搭建自己的私有npm库 1.安装Couchdb [[email protected]_private ~]# yum install wget [[email protected]_private ~]# wget http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [[email protected]_private ~]# rpm -ivh --test epel-release-6-

编译hadoop2.2.0源码时报错

编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] /home/test/work/env/hadoop/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apa

Win7旗舰版64位下编译32位的带CGO的GoLang程序

开发过程中,遇到一个问题. 客户服务器端为32位Windows系统,软件系统必须编译成32位系统才能在客户端正常运行. 本人开发环境: Win7旗舰版64位 Golang 1.8 64位 TMD-GCC5.1 64位 在此情况下,使用批处理文件如下: set GOOS=windows set GOARCH=386 set CGO_ENABLED=1 go build pcms pause 系统调用go-sqlite3,使用cgo调用,会报出编译错误,原因就是gcc调用的异常 使用交叉编译的方式总

CentOS6.5 64位下源码安装PostgreSQL9.5.1

1.官方下载源码文件 http://www.postgresql.org/ftp/source/v9.5.1/ 2.添加用户 [[email protected] ~]#  useradd postgres [[email protected] ~]#  passwd postgres Changing password for user postgres. New password: Retype new password: passwd: all authentication tokens

编译hadoop2.6.0源码

最近在玩hadoop,发现官网下的二进制包经常包警告,不爽,不如自己编译安装 1. 下载源码 2. 安装编译环境(gcc build-essential ....) 3. 安装protobuf (编译hadoop需要用) 4. 安装mvn 5. 在解压源码目录执行mvn -Pdist,native -DskipTests -Dtar 6. 在源码目录下多了个 hadoop-dist 目录,没错就是你要的 ps: 编译过程中报错,根据报错信息安装需要的软件包(例如:cmake....)

ubutun14.04编译hadoop-2.6.0源码,并生成eclipse项目

1.安装jdk 2. 安装需要的库 sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 3. sudo apt-get install openssh-client sudo apt-get install openssh-server -进入到用户目录运行命令: -ssh-keygen -t rsa -P -cat .ssh/id_rsa.pub >> .