Hadoop 2.x 重新编译

本文记录Hadoop 2.x在Linux x64下重新编译的过程。

环境:Centos 6.5 x64 & Hadoop 2.2

一、安装编译包

yum install svn

yum install autoconfautomake libtool cmake

yum install ncurses-devel

yum install openssl-devel

yum install gcc*

二、安装maven

maven项目主页:http://maven.apache.org/

下载安装包apache-maven-3.2.1-bin.tar.gz,解压到/usr/local目录下。

切换到hadoop安装用户下,修改配置文件.bash_profile

PATH=$PATH:$HOME/bin:/usr/local/apache-maven-3.2.1/bin
JAVA_HOMT=/usr/java/jdk1.7.0_51
export
JAVA_HOME
export PATH

三、安装protobuf

protobuf项目主页:https://code.google.com/p/protobuf/

下载安装包protobuf-2.5.0.tar.gz,解压到/usr/local目录下。

进入protobuf目录下

执行./configure

执行make

执行make check

执行make install

执行完成后检查/usr/local/bin/下是否有protoc目录。

四、获取hadoop源代码

源代码地址:http://svn.apache.org/repos/asf/hadoop

hadoop安装用户下执行svn checkout
http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.3.0

Hadoop 2.x 重新编译,码迷,mamicode.com

时间: 2024-08-01 10:46:30

Hadoop 2.x 重新编译的相关文章

[hadoop]Windows下eclipse导入hadoop源码,编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

使用maven在linux上对hadoop 2.2进行编译

使用maven在linux上对hadoop 2.2进行编译 0.环境介绍: Hadoop信息: Version: 2.2 下载地址: http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/ 源码包:hadoop-2.2.0-src.tar.gz 软件包:hadoop-2.2.0.tar.gz Os环境: [[email protected] ~]#  lsb_release -a LSB Version::base-4.0-amd64

Hadoop之Linux源代码编译

Hadoop开篇,按惯例.先编译源代码.导入到Eclipse.这样以后要了解那块,或者那块出问题了.直接找源代码. 编译hadoop2.4.1源代码之前.必须安装Maven和Ant环境,而且Hadoop须要protoc2.5.0的支持,所以还要下载protoc.我下载的是:protobuf-2.5.0.tar.bz2 对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 假设已经安装的能够忽略 yum install gcc yum install gcc-c++ yu

hadoop 2.2.0 编译运行wordcount

hadoop2.2.0 编译运行wordcount,因为hadoop2.2.0不支持eclipse的插件,所以运行wordcount,需要手动编译并将wordcount打包成jar包来运行,下面记录一下编译运行的过程,希望能给大家有些帮助. 1.首先介绍下hadoop的版本问题,当前Hadoop版本比较混乱,让很多用户不知所措.实际上,当前Hadoop只有两个版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduc

win7搭建hadoop开发环境之编译hadoop-eclipse-xxx.jar插件

下载软件 下载hadoop-1.2.1.tar.gz文件,在该压缩包中包含hadoop-eclipse的插件(https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz) 下载apache-ant-1.9.6-bin.tar.gz文件,用于编译生成插件(http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.6-bin.tar.gz)

Hadoop 2.6.0编译on mac

花了一个晚上的时间弄了下hadoop的编译环境,碰到些错误,这里保存下. 需要编译Hadoop,不但需要安装Maven,还需要安装protobuf 安装Maven 下载:apache-maven-3.0.5-bin.tar.gz 解压:tar -zxvf apache-maven-3.0.5-bin.tar.gz 设置环境变量,打开/etc/profile文件,添加 export MAVEN_HOME=/opt/apache-maven-3.0.5 export PATH=$PATH:$MAVE

Hadoop源码编译与调试汇总

虽然在运行Hadoop的时候可以打印出大量的运行日志,但是很多时候只通过打印这些日志是不能很好地跟踪Hadoop各个模块的运行状况.这时候编译与调试Hadoop源码就得派上场了.这也就是今天本文需要讨论的. 先说说怎么编译Hadoop源码,本文主要介绍在Linux环境下用Maven来编译Hadoop.在编译Hadoop之前,我们需要准备好编译环境: 1.安装好1.6或以上的JDK;2.安装Maven,被做好相应的配置;3.安装ProtocolBuffer 2.5.0,MapReduce和HDFS

编译Hadoop源码

背景: 在阅读hadoop源代码过程中会发现部分类或者函数无法找到,这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议, 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类,因此若其他类在源代码中引用这些类则暂时无法找到. 解决办法就是先对hadoop源码进行编译,再导入eclipse工程. 一.基础软件: 软件 下载地址 推荐版本 JDK http://www.oracle.com/technetwork/java/javas

hadoop——在命令行下编译并运行map-reduce程序 2

hadoop map-reduce程序的编译需要依赖hadoop的jar包,我尝试javac编译map-reduce时指定-classpath的包路径,但无奈hadoop的jar分布太散乱,根据自己写的程序来一个个指定jar包的位置又太麻烦,于是又尝试修改java的classpath配置文件,结果不知道为什么编译时还是提示找不到jar包,于是只有用最后一劳永逸的方法:把hadoop的所有jar包都copy到java当前classpath寻找的路径文件中: 我的hadoop安装在/usr/loca