一、编译源码步骤演示详解
官网下载的hadoop包,执行hadoop命令时,会有警告信息,为去除此警告,需要重新编译hadoop相应版本的源码,替换hadoop安装包lib目录下的native(警告如下图所示)
. 编译hadoop环境要求
1、必须在linux系统下编译
2、编译使用的JDK版本必须是1.6以上
3、编译需要使用Maven版本3.0以上(因为源码是由Maven管理的)
4、安装Findbugs插件工具,版本1.3.9
5、安装CMake编译工具,版本2.6或最新版本
6、安装zlib devel
7、安装openssl devel
8、编译时必须连接互联网
=================================== 编译开始 ===================================
第一步:解压hadoop源码安装包:版本以hadoop-2.7.3-src.tar.gz为例,解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)
第二步:配置JDK, 并使profile文件生效,版本:1.8 (必须得有root权限)
第三步:配置Maven,并使profile文件生效, (必须得有root权限)
第四步:安装gcc/gcc-c++/make工具,(必须得有root权限)
第五步:解压安装protobuf工具,此包提供下载链接:http://pan.baidu.com/s/1kUK5HHH
第六步:配置protobuf环境变量
第七步:下载安装CMake、openssl-devel、ncurses-devel依赖包
第八步:开始编译hadoop源码包,先移动到hadoop源码安装目录下
编译成功!整个过程大约需要等待20~30分钟,如下图
第九步:替换原来的native目录,执行命令查看下,不再提示警告,编译好的文件在源码安装包的hadoop-dist目录下,具体目录替换目录如下图所示:
=================================== 编译结束 ===================================
时间: 2024-11-09 22:44:14