CentOS7中编译Hadoop2.x

环境

VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1

1、关于Hadoop本地库

1.1、可能存在的问题

Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本，自带的本地库都是32位的，64位操作系统无法使用，只能使用java自带的，而java自带的速度会比较慢。

查看本地库版本

[[email protected] native]$ pwd
/home/wukong/local/hadoop-2.7.1/lib/native
[[email protected] native]$ ll
total 4928
-rw-r--r-- 1 wukong wukong 1383476 Jun 29 14:15 libhadoop.a
-rw-r--r-- 1 wukong wukong 1634592 Jun 29 14:15 libhadooppipes.a
lrwxrwxrwx 1 wukong wukong      18 Jun 29 14:15 libhadoop.so -> libhadoop.so.1.0.0
-rwxr-xr-x 1 wukong wukong  807942 Jun 29 14:15 libhadoop.so.1.0.0
-rw-r--r-- 1 wukong wukong  476666 Jun 29 14:15 libhadooputils.a
-rw-r--r-- 1 wukong wukong  447388 Jun 29 14:15 libhdfs.a
lrwxrwxrwx 1 wukong wukong      16 Jun 29 14:15 libhdfs.so -> libhdfs.so.0.0.0
-rwxr-xr-x 1 wukong wukong  282388 Jun 29 14:15 libhdfs.so.0.0.0
[[email protected] native]$ file ./libhadoop.so.1.0.0
./libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xd3720bf1ab8325bdde6e129bc386a86c888accc9, not stripped
[[email protected] native]$

1.2、可能存在的WARN级别日志

启停hdfs/mapreduce程序后可能出现的告警日志

2015-08-01 18:15:57,940 WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2、编译过程

2.1、安装编译相关的包（需联网）

[[email protected] ~]# yum install svn

[[email protected] ~]# yum install autoconfautomake libtool cmake

[[email protected] ~]# yum install ncurses-devel

[[email protected] ~]# yum install openssl-devel

[[email protected] ~]# yum install gcc*

2.2、安装maven

# 到apache官网下载最新稳定版
wget # 解压
tar -xzvf apache-maven-3.3.3-bin.tar.gz  

# 放到/opt下面
mv apache-maven-3.3.3 /opt

# 配置环境变量
export JAVA_HOME=/opt/jdk1.7.0_79
export M2_HOME=/opt/apache-maven-3.3.3
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/li
b/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin
export MAVEN_OPTS=-Xmx512m

# 更新环境变量
[[email protected] apache-maven-3.3.3]# source /etc/profile

# 检查是否配置成功
[[email protected] apache-maven-3.3.3]# echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/jdk1.7.0_79/bin:/home/wukong/local/hadoop-2.7.1/bin:/home/wukong/local/hadoop-2.7.1/sbin:/opt/jdk1.7.0_79/bin:/opt/apache-maven-3.3.3/bin
[[email protected] apache-maven-3.3.3]# mvn -version
Apache Maven 3.3.3 (7994120775791599e205a5524ec3e0dfe41d4a06; 2015-04-22T19:57:37+08:00)
Maven home: /opt/apache-maven-3.3.3
Java version: 1.7.0_79, vendor: Oracle Corporation
Java home: /opt/jdk1.7.0_79/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-229.7.2.el7.x86_64", arch: "amd64", family: "unix"
[[email protected] apache-maven-3.3.3]# exit
exit
[[email protected] pack]$ mvn -version
-bash: mvn: command not found
[[email protected] pack]$ source /etc/profile
[[email protected] pack]$ mvn -version       
Apache Maven 3.3.3 (7994120775791599e205a5524ec3e0dfe41d4a06; 2015-04-22T19:57:37+08:00)
Maven home: /opt/apache-maven-3.3.3
Java version: 1.7.0_79, vendor: Oracle Corporation
Java home: /opt/jdk1.7.0_79/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-229.7.2.el7.x86_64", arch: "amd64", family: "unix"
[[email protected] pack]$

注意用户权限

[email protected] apache-maven-3.3.3]# pwd
/opt/apache-maven-3.3.3
[[email protected] apache-maven-3.3.3]# cd ..
[[email protected] opt]# ll
total 4
drwxr-xr-x 6 wukong wukong   92 Aug  2 15:11 apache-maven-3.3.3
drwxr-xr-x 8     10    143 4096 Apr 11 02:53 jdk1.7.0_79
[[email protected] opt]# cd apache-maven-3.3.3/
[[email protected] apache-maven-3.3.3]# ll
total 32
drwxr-xr-x 2 wukong wukong    91 Aug  2 15:11 bin
drwxr-xr-x 2 wukong wukong    41 Aug  2 15:11 boot
drwxr-xr-x 3 wukong wukong    60 Apr 22 19:55 conf
drwxr-xr-x 3 wukong wukong  4096 Aug  2 15:11 lib
-rwxr-xr-x 1 wukong wukong 19091 Apr 22 19:58 LICENSE
-rwxr-xr-x 1 wukong wukong   182 Apr 22 19:58 NOTICE
-rwxr-xr-x 1 wukong wukong  2541 Apr 22 19:55 README.txt
[[email protected] apache-maven-3.3.3]#

2.3、安装protobuf

# 下载
[[email protected] pack]$ wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

# 解压
[[email protected] pack]$ tar -xzvf ./protobuf-2.5.0.tar.gz 

# 编译及安装
[[email protected] pack]$ cd protobuf-2.5.0
[[email protected] protobuf-2.5.0]$ ./configure 
# 以下三步时间比较长，而且有warning
[[email protected] protobuf-2.5.0]$ make
[[email protected] protobuf-2.5.0]$ make check
# make install时要使用root账户，否则会因为权限的问题报错
[[email protected] protobuf-2.5.0]$ make install

# 验证
[[email protected] lib]# protoc --version
libprotoc 2.5.0
[[email protected] ~]$ protoc --version
libprotoc 2.5.0

make check后可能会得到类似以下结果，检查看看是否有error，没有就ok

PASS: protobuf-test
PASS: protobuf-lazy-descriptor-test
PASS: protobuf-lite-test
PASS: google/protobuf/compiler/zip_output_unittest.sh
PASS: google/protobuf/io/gzip_stream_unittest.sh
make[5]: Entering directory `/home/wukong/pack/protobuf-2.5.0/src‘
make  all-am
make[6]: Entering directory `/home/wukong/pack/protobuf-2.5.0/src‘
make[6]: Nothing to be done for `all-am‘.
make[6]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘
make[5]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘
============================================================================
Testsuite summary for Protocol Buffers 2.5.0
============================================================================
# TOTAL: 5
# PASS:  5
# SKIP:  0
# XFAIL: 0
# FAIL:  0
# XPASS: 0
# ERROR: 0
============================================================================
make[4]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘
make[3]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘
make[2]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘
make[1]: Leaving directory `/home/wukong/pack/protobuf-2.5.0/src‘

注意，和hadoop-2.7.1对应的protobuf版本是2.5.0，如果版本不对，会报错大致如下：

[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.107 s
[INFO] Finished at: 2015-08-02T16:59:47+08:00
[INFO] Final Memory: 53M/135M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.7.1:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is ‘libprotoc 2.6.1‘, expected version is ‘2.5.0‘ -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common

2.4、重新编译本地库

2.4.1、获取hadoop源代码

wget或者svn或者直接去官网下

[[email protected] pack]$ ll
total 233916
-rw-rw-r--  1 wukong wukong   8042383 Apr 28 23:12 apache-maven-3.3.3-bin.tar.gz
drwxr-xr-x 15 wukong wukong      4096 Jun 29 14:04 hadoop-2.7.1-src
-rw-rw-r--  1 wukong wukong  18226773 Jul 30 22:57 hadoop-2.7.1-src.tar.gz
-rw-rw-r--  1 wukong wukong 210606807 Jul 28 09:49 hadoop-2.7.1.tar.gz
drwxr-xr-x 10 wukong wukong      4096 Aug  2 15:28 protobuf-2.6.1
-rw-rw-r--  1 wukong wukong   2641426 Oct 23  2014 protobuf-2.6.1.tar.gz

2.4.1、解压

[[email protected] pack]# tar -xzvf hadoop-2.7.1-src.tar.gz 
[[email protected] pack]# cd hadoop-2.7.1-src
[[email protected] hadoop-2.7.1-src]$ pwd
/home/wukong/pack/hadoop-2.7.1-src
[[email protected] hadoop-2.7.1-src]$ ll
total 76
-rw-r--r--  1 wukong wukong 13110 Jun 29 14:03 BUILDING.txt
drwxr-xr-x  2 wukong wukong  4096 Aug  2 16:06 dev-support
drwxr-xr-x  3 wukong wukong    30 Aug  2 16:06 hadoop-assemblies
drwxr-xr-x  2 wukong wukong    20 Aug  2 16:06 hadoop-client
drwxr-xr-x 10 wukong wukong  4096 Aug  2 16:06 hadoop-common-project
drwxr-xr-x  2 wukong wukong    20 Aug  2 16:07 hadoop-dist
drwxr-xr-x  6 wukong wukong   103 Aug  2 16:06 hadoop-hdfs-project
drwxr-xr-x  9 wukong wukong  4096 Aug  2 16:06 hadoop-mapreduce-project
drwxr-xr-x  3 wukong wukong    30 Aug  2 16:06 hadoop-maven-plugins
drwxr-xr-x  2 wukong wukong    20 Aug  2 16:06 hadoop-minicluster
drwxr-xr-x  3 wukong wukong    30 Aug  2 16:07 hadoop-project
drwxr-xr-x  2 wukong wukong    37 Aug  2 16:06 hadoop-project-dist
drwxr-xr-x 16 wukong wukong  4096 Aug  2 16:06 hadoop-tools
drwxr-xr-x  3 wukong wukong    56 Aug  2 16:06 hadoop-yarn-project
-rw-r--r--  1 wukong wukong 15429 Jun 29 14:03 LICENSE.txt
-rw-r--r--  1 wukong wukong   101 Jun 29 14:03 NOTICE.txt
-rw-r--r--  1 wukong wukong 18893 Jun 29 14:03 pom.xml
-rw-r--r--  1 wukong wukong  1366 Jun 29 14:03 README.txt
[[email protected] hadoop-2.7.1-src]$

2.4.2、编译hadoop源代码

# 非常漫长非常漫长的等待
[[email protected] hadoop-2.7.1-src]$ mvn clean package -Pdist,native -DskipTests -Dtar

# 最终编译结果
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................. SUCCESS [  7.458 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  5.576 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [  6.810 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.343 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [  3.293 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [  5.637 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [  6.570 s]
[INFO] Apache Hadoop Auth ................................. SUCCESS [ 14.101 s]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [  4.555 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [03:54 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [ 19.327 s]
[INFO] Apache Hadoop KMS .................................. SUCCESS [ 22.779 s]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.053 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [08:56 min]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [02:19 min]
[INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [01:36 min]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  9.181 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.065 s]
[INFO] hadoop-yarn ........................................ SUCCESS [  0.076 s]
[INFO] hadoop-yarn-api .................................... SUCCESS [02:27 min]
[INFO] hadoop-yarn-common ................................. SUCCESS [03:22 min]
[INFO] hadoop-yarn-server ................................. SUCCESS [  0.564 s]
[INFO] hadoop-yarn-server-common .......................... SUCCESS [ 22.455 s]
[INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 40.593 s]
[INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [  8.402 s]
[INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [ 20.187 s]
[INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 41.425 s]
[INFO] hadoop-yarn-server-tests ........................... SUCCESS [ 13.118 s]
[INFO] hadoop-yarn-client ................................. SUCCESS [ 16.388 s]
[INFO] hadoop-yarn-server-sharedcachemanager .............. SUCCESS [  7.473 s]
[INFO] hadoop-yarn-applications ........................... SUCCESS [  0.205 s]
[INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [  5.137 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [  3.379 s]
[INFO] hadoop-yarn-site ................................... SUCCESS [  0.192 s]
[INFO] hadoop-yarn-registry ............................... SUCCESS [ 11.037 s]
[INFO] hadoop-yarn-project ................................ SUCCESS [  5.957 s]
[INFO] hadoop-mapreduce-client ............................ SUCCESS [  0.084 s]
[INFO] hadoop-mapreduce-client-core ....................... SUCCESS [01:05 min]
[INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 44.305 s]
[INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [  8.763 s]
[INFO] hadoop-mapreduce-client-app ........................ SUCCESS [ 20.268 s]
[INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 17.986 s]
[INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [ 24.200 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [  3.840 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [ 12.104 s]
[INFO] hadoop-mapreduce ................................... SUCCESS [  4.579 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 21.775 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [01:16 min]
[INFO] Apache Hadoop Archives ............................. SUCCESS [ 11.316 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [ 27.178 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  8.318 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  5.153 s]
[INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [  5.326 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  7.849 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [ 27.793 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  9.929 s]
[INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [ 57.588 s]
[INFO] Apache Hadoop Azure support ........................ SUCCESS [ 21.386 s]
[INFO] Apache Hadoop Client ............................... SUCCESS [ 20.907 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [ 20.113 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 39.010 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [ 15.505 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.051 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [07:26 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 44:52 min
[INFO] Finished at: 2015-08-03T00:37:02+08:00
[INFO] Final Memory: 134M/492M
[INFO] ------------------------------------------------------------------------

2.4.2、编译后的成果

这里只看了native库文件

[[email protected] native]$ pwd
/home/wukong/pack/hadoop-2.7.1-src/hadoop-dist/target/hadoop-2.7.1/lib/native
[[email protected] native]$ ll
total 4644
-rw-rw-r-- 1 wukong wukong 1235998 Aug  3 00:30 libhadoop.a
-rw-rw-r-- 1 wukong wukong 1606616 Aug  3 00:31 libhadooppipes.a
lrwxrwxrwx 1 wukong wukong      18 Aug  3 00:30 libhadoop.so -> libhadoop.so.1.0.0
-rwxrwxr-x 1 wukong wukong  724522 Aug  3 00:30 libhadoop.so.1.0.0
-rw-rw-r-- 1 wukong wukong  471882 Aug  3 00:31 libhadooputils.a
-rw-rw-r-- 1 wukong wukong  433780 Aug  3 00:30 libhdfs.a
lrwxrwxrwx 1 wukong wukong      16 Aug  3 00:30 libhdfs.so -> libhdfs.so.0.0.0
-rwxrwxr-x 1 wukong wukong  272202 Aug  3 00:30 libhdfs.so.0.0.0
[[email protected] native]$

可以把库文件拷贝到hadoop的相关目录中，或者直接使用用编译好的hadoop

时间： 2025-01-14 07:01:12

CentOS7中编译Hadoop2.x的相关文章

centos7中编译安装mysql5.7.17

MySQL 的安装方式有很多,最常见的就是编译安装和二进制安装: 在这里我将两种安装方式都介绍一下,自由选择: 首先我们来看一下编译安装的步骤: 首先,到官方网站中下载源码包: https://dev.mysql.com/downloads/mysql 选择下载源码包: 有很多针对不同系统的源码包,我们选择通用版: 下载完成后,放到我们服务器上: 接下来按照步骤进行解压编译安装即可; MySQL从5.5开始,使用cmake 进行编译设置:因此,我们还要安装cmake编译工具: shell > y

Centos7中编译安装MySQL(mysql-5.7)

MySQL 是一个真正的多线程.多用户的SQL数据库服务,凭借其高性能.高可靠和易于使用的性能,成为服务器领域中最受欢迎的开源数据库系统.为了确保数据库的功能的完性.可定制性,本篇文章将采用源代码编译的方式安装mysql数据库系统实验环境系统:CentOS-7-x86_64(ip:192.168.75.103) 使用软件:boost_1_59_0.mysql-5.7.17 安装实验环境 yum -y install gcc gcc-c++ ncurses ncurses-devel biso

在CentOS7中手工编译安装Mysql5.7

在CentOS7中手工编译安装Mysql5.7 实验介绍:由于Mysql自从5.5之后,都需要安装boost的函数库,所以和LAMP中编译安装Mysql略有不同,配置文件也不一样,下面来介绍. 1.首先查看CentOS7之前是否安装过Mysql,先要进行删除,使用的命令是. rpm -q mysql 2.首先使用yum仓库安装所需要的开发包和软件包. yum -y install ncurses \ #提供字符终端处理库 ncurses-devel \ #ncurses开发包 bison \ #

Linux入门之CentOS7内核编译三部曲(1)

Linux入门之CentOS7内核编译三部曲(1) 我们知道,一个Linux系统的主要组成是由liunx内核核心和一些支持模块组合而成的.但是在某些场合中,需要某项功能,而当前内核的核心或者模块不支持此功能,那么就需要对内核进行一个升级或者重新编译内核添加相应的功能,以此提供了对此功能的支持. 编译前的准备认识kernel 所为kernel,就是一种操作系统的核心,当然也是一个文件,而这种核心提供了对一些硬件的支持,一般来说其中包含了一些对常见硬件核心驱动的核心代码.启动系统时会通过加载MBR

Linux入门之CentOS7内核编译三部曲(2)

Linux入门之CentOS7内核编译三部曲(2) 在linux系统中,编译完了内核,得到了所需的功能,并不能表示就已经能完美完成我们的所需.因为内核只是做一个核心的硬件及核心代码的支持,而注意的模块支持任然是对应版本的内核模块文件.这些文件决定着平时能否使用哪些功能.这次不会介绍如果添加给上次编译的新内核模块功能,主要介绍模块的功能和作用以及其加载和卸载. 查看当前系统以及加载的内核模块命令:lsmod modinfo lsmod 命令 lsmod - program to show the

从零教你在Linux环境下（ubuntu）如何编译hadoop2.4

问题导读: 1.如果获取hadoop src maven包?2.编译hadoop需要装哪些软件?3.如何编译hadoop2.4?扩展:编译hadoop为何安装这些软件? 本文链接 http://www.aboutyun.com/thread-8130-1-1.html 一.首先下载hadoop源码包下载的方式还是比较多的1.svn的方式svn下载首先需要安装SVN,如果想尝试使用svn,可以参考源码管理.获取网络源码工具:TortoiseSVN使用手册,hadoop的svn下载地址点此2.压缩

linux中编译安装Apache、PHP、MySQL（上）

1.简介在阿里云买了个云服务器,一直没时间折腾.过了近十天了吧,才有时间好好玩玩这个云服务器.自己是做Web开发的,所以我需要的开发环境是LAMP.之前打算是采用yum安装,不过yum安装apache可以安装到2.4版本,而PHP最高安装版本只能是5.4,这也是yum安装PHP的软肋,因此我这里主要涉及到的安装方式是源码安装.通过源码安装能够更好的管理这些软件,想安装到哪就放在哪. 云服务器: 阿里云CentOS 7.2 64位阿帕奇版本:apache2.4 PHP版本:PHP5.6 主要的

【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源代码

今天来说说编译hadoop源代码的事情吧~ 1.首先下载源代码地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ 2.加压tar包到指定目录:/home/hadoop/soft/hadoop tar zxvf hadoop-2.4.0-src.tar.gz 3.Linux编译环境准备 java环境准备參照:http://blog.csdn.net/enson16855/article/details/8708574 m

CentOS-64bit编译Hadoop-2.5.源代码,并进行分布式安装

摘要 CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装目录 1.系统环境说明 2.安装前的准备工作 2.1 关闭防火墙 2.2 检查ssh安装情况,如果没有则安装ssh 2.3 安装vim 2.4 设置静态ip地址 2.5 修改host名称 2.6 创建hadoop用户 2.7 配置ssh无密钥登录 3.安装必须的软件 3.1 安装JDK ##################################### [100%] #####################