强迫症必治:
|
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable |
为了去掉这个警告！
这个本地库是需要根据当前所用的环境编译的，否则就会出现这个警告，但是对我们的任务处理没什么影响。
（但有博主提出：官方给的编译后的包是基于32位jvm编译的，在64位jvm上运行，不能发挥性能优势）,既然不能发挥性能优势，那更不能忍了。
1 下载源码包和基本环境
https://archive.apache.org/dist/hadoop/common/
我本次编译采用的是：hadoop-2.5.0
下载hadoop-2.5.0-src.tar.gz文件即可
上传源码文件到目录/home/xuan/opt/softwares下
赋予执行权限：
chmod u+x hadoop-2.5.0-src.tar.gz
解压：
tar –zxf hadoop-2.5.0-src.tar.gz
进入解压后的目录，可以看到一个BUILDING.txt文件
查看其内容，可以看到：
|
Requirements: 1* Unix System 2* JDK 1.6+ 3* Maven 3.0 or later 4* Findbugs 1.3.9 (if running findbugs) 5* ProtocolBuffer 2.5.0 6* CMake 2.6 or newer (if compiling native code) 7* Zlib devel (if compiling native code) 8* openssl devel ( if compiling native hadoop-pipes ) 9* Internet connection for first build (to fetch all Maven and Hadoop dependencies) |
条件1：我这里用的系统是CentOS6.4 （64位）
条件2：JDK已经安装，版本： java version "1.7.0_67"
条件3：Maven也已安装：Apache Maven 3.0.5
（maven下载地址https://archive.apache.org/dist/maven/maven-3/，配置可以参考官网、博客，跟java的环境变量配置是类似的）
条件9：必须我们的虚拟机系统必须能联网
2编译准备
切换到root用户
安装svn
|
yum install svn |
（这步可以不做的其实，我们的源码都已经下载好了，不需要通过它去下载，未必有我们自己下载快呢）
条件4：非必须的，适用于查找BUG的
条件6：安装autoconf automake libtool cmake（6,7,8是编译native code需要的）
|
yum install autoconf automake libtool cmake |
条件7：安装ncurses-devel
|
yum install ncurses-devel |
条件8：安装openssl devel
|
yum install openssl-devel |
安装gcc
|
yum install gcc* |
如果使用yum安装上述软件的时候，出现y/n，则直接按下键盘的y就好啦，这个是是否下载一些依赖包吧，其实应该加上-y参数的，反正都要下的。（也有的博主是没做这一步的）
条件5：安装protobuf（必须的）
protoc buffer是hadoop的通信工具
这里要求的是2.5.0版本，但是https://code.google.com/p/protobuf/downloads/list
嗯，之前google code不是不做了嘛。而且FQ也难，于是在
http://www.tuicool.com/articles/jM7Nn2/
上述文章中给的地址中下载了该历史版本
（事实上现在移动到了在github上，的确也能下载到protobuf，点击分支branch，再点击tags，就可以找到2.5.0啦，而且，有的博主使用3.0的版本还报错了呢）
上传到linux的/home/xuan/opt/softwares下
赋予执行权限，解压，并进入所在目录。
执行如下命令安装（要记得进入目录再执行这些命令哦）
|
./configure make make check make install 这个是源码包的安装方式 http://zyjustin9.iteye.com/blog/2026579 其中make check不是必要的吧，只不过是为了检查是否被第三方给修改了 |
这个过程有点长哈，不要紧张，哈哈。
（有的博文说要安装完成后，配置环境变量PROTOC_HOME的，我参考的文档没设置，大部分是不设置滴）
其实不设置，直接protoc –version，就可以看到返回:
libprotoc 2.5.0
3编译源码
进入我们源码解压后的目录/home/xuan/opt/softwares/hadoop-2.5.0-src，直接执行如下的命令：
|
mvn package -Pdist,native -DskipTests –Dtar |
这个命令，在中也给我们写好啦:
|
Create source and binary distributions with native code and documentation: $ mvn package -Pdist,native,docs,src -DskipTests -Dtar |
我们主要是native,而不是获取code and documentation，所以就省去,docs,src啦
这个命令的执行过程很长，要求保持网络畅通（我居然从11:30一直编译到近13:00）
（第一次运行该命令的时候我去吃饭啦，回来发现出错，于是…看着黑客表演看了一个半小时呢~\(≧▽≦)/~）
好吧，我的网速是有多慢……………….二三十分种是真的嘛？
4
编译完成后
在/home/xuan/opt/softwares目录的hadoop-2.5.0-src/hadoop-dist/target目录下(即/home/xuan/opt/softwares/hadoop-2.5.0-src/hadoop-dist/target)，可以看到
|
[[email protected] target]$ ll total 390200 drwxr-xr-x 2 root root 4096 Aug 1 13:07 antrun -rw-r--r-- 1 root root 1637 Aug 1 13:07 dist-layout-stitching.sh -rw-r--r-- 1 root root 654 Aug 1 13:07 dist-tar-stitching.sh drwxr-xr-x 9 root root 4096 Aug 1 13:07 hadoop-2.5.0 -rw-r--r-- 1 root root 132941160 Aug 1 13:07 hadoop-2.5.0.tar.gz -rw-r--r-- 1 root root 2745 Aug 1 13:07 hadoop-dist-2.5.0.jar -rw-r--r-- 1 root root 266585127 Aug 1 13:07 hadoop-dist-2.5.0-javadoc.jar drwxr-xr-x 2 root root 4096 Aug 1 13:07 javadoc-bundle-options drwxr-xr-x 2 root root 4096 Aug 1 13:07 maven-archiver drwxr-xr-x 2 root root 4096 Aug 1 13:07 test-dir |
（必要的时候应当改变其所属用户和组吧）
再深入路径，可以在
/home/xuan/opt/softwares/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib下找到
native，将此目录替换掉
/home/xuan/opt/modules/hadoop-2.5.0/lib下的native目录就好了（当然，原来的那一个要备份啦，不然出问题后悔就来不及啦）
|
sbin/start-dfs.sh sbin/start-yarn.sh |
再运行一个wordcount示例检验之
|
bin/Hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/xuan/mapreduce/wordcount/input /user/xuan/mapreduce/wordcount/outputTest bin/Hadoop dfs –cat /user/xuan/mapreduce/wordcount/outputTest/part* |
于是发现，好啦。
这里还有一个坑，编译完测试完，在写本篇作业笔记的时候，发现：
JDK的版本不对了啊，查看了下/etc/profile，发现JAVA_HOME配置是对的
再用echo ${PATH}查看path，并没有发现痕迹，但是卢哥和戴哥指出，在/etc/profile中改为：export PATH=$JAVA_HOME:$PATH就可以啦，因为path本来是从前往后读的，这点我也想到了呀，不然我也不会去查找path，但是path中没发现明显的迹象。而实际上，
|
[[email protected] bin]# pwd /usr/bin [[email protected] bin]# ll /usr/bin|grep java -rwxr-xr-x 1 root root 5000 May 10 17:38 gjavah lrwxrwxrwx 1 root root 22 Aug 1 10:48 java -> /etc/alternatives/java 参考： |
嗯，source /etc/profile。再次查看java –version，一切就Ok啦。
主要参考:
http://www.cnblogs.com/shishanyuan/p/4164104.html#undefined(本文参考)
http://www.cnblogs.com/hanganglin/p/4349919.html（辅助，对照验证）
https://www.zybuluo.com/awsekfozc/note/213815（可以修改jar包下载的来源，提高编译的速度）
http://linxiao.iteye.com/blog/2269047（从github上下载的protobuf，装了findbugs，没装gcc，估计是它系统就有）
http://liubao0312.blog.51cto.com/2213529/1557657（从集群角度）
http://my.oschina.net/jeeker/blog/619275