hadoop-2.7.4编译安装

1.protobuf编译安装

[[email protected] ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[[email protected] ~]# tar -zxf protobuf-2.5.0.tar.gz
[[email protected] ~]# cd protobuf-2.5.0/
[[email protected] protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf2.5/
 ...
[[email protected] protobuf-2.5.0]# make && make install
[[email protected] protobuf-2.5.0]# tail -2 /etc/profile #配置环境变量
export PROTOC_HOME=/usr/local/protobuf2.5/
export PATH=.$PATH:$PROTOC_HOME/bin
[[email protected] protobuf-2.5.0]# protoc --version #验证
libprotoc 2.5.0

2.maven安装

[[email protected] ~]# yum install maven #使用yum安装maven会自动安装jdk和ant
[[email protected] ~]# mvn -version
Apache Maven 3.0.5 (Red Hat 3.0.5-17)
Maven home: /usr/share/maven
Java version: 1.8.0_141, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-514.el7.x86_64", arch: "amd64", family: "unix"
[[email protected] ~]# java -version
openjdk version "1.8.0_141"
OpenJDK Runtime Environment (build 1.8.0_141-b16)
OpenJDK 64-Bit Server VM (build 25.141-b16, mixed mode)
[[email protected] ~]#

3.编译安装hadoop

[[email protected] ~]# tar -zxf hadoop-2.7.4-src.tar.gz
[[email protected] ~]# cd hadoop-2.7.4-src/
[[email protected] hadoop-2.7.4-src]# mvn package -Pdist -DskipTests -Dtar #安装过程大约1小时
main:
     [exec] $ tar cf hadoop-2.7.4.tar hadoop-2.7.4
     [exec] $ gzip -f hadoop-2.7.4.tar
     [exec] 
     [exec] Hadoop dist tar available at: /root/hadoop-2.7.4-src/hadoop-dist/target/hadoop-2.7.4.tar.gz
     [exec] 
[INFO] Executed tasks
[INFO] 
[INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-dist ---
[INFO] Building jar: /root/hadoop-2.7.4-src/hadoop-dist/target/hadoop-dist-2.7.4-javadoc.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................ SUCCESS [3:53.838s]
[INFO] Apache Hadoop Build Tools ......................... SUCCESS [1:26.089s]
 ...
 ...
[INFO] Apache Hadoop Tools ............................... SUCCESS [0.214s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [1:49.587s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 49:23.379s
[INFO] Finished at: Mon Aug 28 05:58:32 EDT 2017
[INFO] Final Memory: 91M/237M
[INFO] ------------------------------------------------------------------------

#从提示信息中可以看到文件的存放目录为:

/root/hadoop-2.7.4-src/hadoop-dist/target/hadoop-2.7.4.tar.gz
时间: 2024-08-28 18:02:40

hadoop-2.7.4编译安装的相关文章

编译安装hadoop2.6.3

一.安装环境 1.1  JAVA 安装java1.7 下载jdk1.7: [[email protected]~]# wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=1452765180_64b65bb908cae46ab9a9e492c842d7c7 设置JAVA环境变量: PATH=$PATH:$HOME/bin:/usr/local/mongodb-l

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

Hadoop学习笔记(一)——编译安装和配置

近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部分内容来源于网络. 0.环境说明: 操作系统环境: ububtu 14.04 LTS 64位操作系统 JDK环境: java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSp

Ubuntu14.0上编译安装Hadoop

Ubuntu14.0上编译安装Hadoop 环境: hadoop-2.5.0.tar hadoop-2.5.0-src.tar jdk-7u71-linux-x64 protobuf-2.5.0.tar Maven3.0 安装步骤: 1 安装jdk ,配置环境变量 2 安装依赖包 3 安装maven 4安装protobuf-2.5.0.tar 5 编译Hadoop 6 安装hadoop 6.1 单机模式 6.2 伪分布模式 6.3 集群模式 1 安装jdk ,配置环境变量 下载jdk版本:jdk

Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装

[注]该系列文章以及使用到安装包/測试数据 能够在<[倾情大奉送–Spark入门实战系列] (http://blog.csdn.net/yirenboy/article/details/47291765)>获取 1 编译Hadooop 1.1 搭建好开发环境 1.1.1 安装并设置maven 1.下载maven安装包.建议安装3.0以上版本号,本次安装选择的是maven3.0.5的二进制包,下载地址例如以下 http://mirror.bit.edu.cn/apache/maven/maven

Hadoop之Linux源代码编译

Hadoop开篇,按惯例.先编译源代码.导入到Eclipse.这样以后要了解那块,或者那块出问题了.直接找源代码. 编译hadoop2.4.1源代码之前.必须安装Maven和Ant环境,而且Hadoop须要protoc2.5.0的支持,所以还要下载protoc.我下载的是:protobuf-2.5.0.tar.bz2 对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 假设已经安装的能够忽略 yum install gcc yum install gcc-c++ yu

Ubuntu 14.04 编译安装 husky

简介 Husky是一个大数据分布式开发框架,用C++开发,因为粗粒度(coarse-grained)平台(如Spark,Hadoop,Flink)MR耗时太大,然后细粒度(fine-grained)平台(GraphX等)编程难度较大,同时细粒度在数据平台之间转移会很耗时.Husky就是在粗粒度和细粒度之间做一个权衡,在PageRank上,他的性能是Spark的30+倍. Husky主页:http://www.husky-project.com/ 升级gcc到5.3 参见博客 http://www

Hadoop1.1 和Hadoop 2.4 集群安装版

目录 1 环境准备... 4 1.1 硬件配置... 4 1.2 软件... 4 1.3 网络拓扑结构... 4 1.4 系统分区... 5 1.5 虚拟机配置... 5 1.6 SSH免密码登录... 5 1.7 JDK安装... 7 2 Hadoop1.2.1安装及配置... 8 2.1 下载Hadoop安装介质... 8 2.2 解压Hadoop安装介质... 9 2.3 Hadoop配置文件... 9 2.4 复制Hadoop安装介质... 10 2.5 配置HADOOP_HOME. 1

hadoop2.1.0编译安装教程(转载)

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w

Hadoop 2.x 重新编译

本文记录Hadoop 2.x在Linux x64下重新编译的过程. 环境:Centos 6.5 x64 & Hadoop 2.2 一.安装编译包 yum install svn yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel yum install gcc* 二.安装maven maven项目主页:http://maven.apache.org/ 下载安装