编译hadoop2.6.0 cdh 5.4.5 集成snappy压缩

原文地址：http://www.cnblogs.com/qiaoyihang/p/6995146.html

1、下载源码：http://archive-primary.cloudera.com/cdh5/cdh/5/

2、准备编译环境
　　a、安装maven
　　b、安装protobuffer

　　./configure --prefix=/usr/local/protobuf

　　注意安装编译所需要的依赖包
　　sudo yum install gcc-c++

　　sudo yum -y install cmake

　　sudo yum -y install zlib

　　sudo yum -y install openssl-devel

　　老流程：

　　config > make >make check >make install

　　c、配置环境变量：
　　#protobuf
　　export PATH=$PATH:/usr/local/protobuf/bin
　　export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/protobuf/lib

3、安装snappy

　　./configure --prefix=/usr/local/snappy

　　config > make >make check >make install

4、编译hadoop 集成snappy

export MAVEN_OPTS="-Xms256m -Xmx512m"
mvn package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/snappy/lib

　注意：

　　编译2.6 需要1.7的JDK

　　编译完成位置：/home/hadoop/hadoop-2.6.0-cdh5.4.5/hadoop-dist/target

本地库里面集成了snappy

检查本地库加载

hadoop checknative -a

查看安装的基本信息

file ./*

编译中遇到的一个小问题：

问题：编译的时候配置了远程仓库，但是还是会读取中央仓库

<!--配置私服镜像-->
<mirrors>
<mirror>
<!--This sends everything else to /public -->
<id>nexus</id>
<mirrorOf>*</mirrorOf>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
<mirror>
<mirrors>

该例中<mirrorOf>的值为星号，表示该配置是所有Maven仓库的镜像，任何对于远程仓库的请求都会被转至

http://maven.aliyun.com/nexus/content/groups/public/

如果该镜像仓库需要认证，则配置一个id为nexus的认证信息即可。

需要注意的是，由于镜像仓库完全屏蔽了被镜像仓库，当镜像仓库不稳定或者停止服务的时候，Maven仍将无法访问被镜像仓库，因而将无法下载构件。

解决办法：把*改为central

时间： 2024-08-05 18:07:10

编译hadoop2.6.0 cdh 5.4.5 集成snappy压缩的相关文章

CentOS6.4编译Hadoop-2.4.0

因为搭建Hadoop环境的时候,所用的系统镜像是emi-centos-6.4-x86_64,是64位的,而hadoop是默认是32的安装包.这导致我们很多操作都会遇到这个问题(Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM w

Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

1 . 安装maven .libssl-dev .cmake 和JDK 安装本机库http://wiki.apache.org/hadoop/HowToContribute sudo apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev sudo tar -zxvf jdk-7u51-linux-x64.tar.gz /usr/lib/jv

编译hadoop2.2.0源码时报错

编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] /home/test/work/env/hadoop/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apa

CentOS7-64bit 编译 Hadoop-2.5.0，并分布式安装

1.系统环境说明 CentOS 7.0 x64 版本 192.168.1.7 master192.168.1.8 slave192.168.1.9 slave192.168.1.10 slave 2.安装前的准备工作 2.1 关闭防火墙 # systemctl status firewalld.service --查看防火墙状态 # systemctl stop firewalld.service --关闭防火墙 # systemctl disable firewalld.service

Ubuntu 13.10 下编译Hadoop2.4.0

在http://www.aboutyun.com/thread-8130-1-1.html 这里看到到,安装过程遇到了上面说的问题,所以将此文转载过来,以备不时之需,感谢此作者. 问题导读: 1.如果获取hadoop src maven包? 2.编译hadoop需要装哪些软件? 3.如何编译hadoop2.4? 扩展: 编译hadoop为何安装这些软件? 一.首先下载hadoop源码包下载的方式还是比较多的 1.svn的方式 svn下载首先需要安装SVN,如果想尝试使用svn,可以参考源码管

ubutun14.04编译hadoop-2.6.0源码，并生成eclipse项目

1.安装jdk 2. 安装需要的库 sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 3. sudo apt-get install openssh-client sudo apt-get install openssh-server -进入到用户目录运行命令: -ssh-keygen -t rsa -P -cat .ssh/id_rsa.pub >> .

Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0

一.准备编译软件 1.在官网下载jdk1.7.maven3.2.1.ant1.9.4,解压设置好环境变量就可以用. 环境变量设置如下: (1)执行vim /etc/profile (2)在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/home/spark/apache-maven-3.2.1 export ANT_HOME=/home/spark/apache-ant-1.9.4 export PATH=

centos6.5（64bit）下编译hadoop-2.5.0

编译环境准备: 1.安装cmake: sudo wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz #tar -zxvf cmake-2.8.12.2.tar.gz #cd cmake-2.8.12.2 # ./configure #gmake #gmake install 2.安装protobuf: protobuf-2.5.0.tar.gz tar -xvf protobuf-2.5.0.tar.bz2 cd protobuf

编译hadoop2.6.0源码

最近在玩hadoop,发现官网下的二进制包经常包警告,不爽,不如自己编译安装 1. 下载源码 2. 安装编译环境(gcc build-essential ....) 3. 安装protobuf (编译hadoop需要用) 4. 安装mvn 5. 在解压源码目录执行mvn -Pdist,native -DskipTests -Dtar 6. 在源码目录下多了个 hadoop-dist 目录,没错就是你要的 ps: 编译过程中报错,根据报错信息安装需要的软件包(例如:cmake....)