Ubuntu 64位 配置hadoop 2.7

64位的Ubuntu上配置Hadoop需要先从源码编译,虽然Ubuntu是安装在虚拟机里的,完全可以再装一个32位,但现在麻烦一点积攒经验以后方便。然而写下这句话的时候编译的部分还没有完成。不管怎样,按照以往习惯,边做边写:

1. hadoop-2.7.1-src.tar.gz 解压缩。

2.其中的BUILDING.txt中对于工具的要求是:

Requirements:

* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )
* Jansson C XML parsing library ( if compiling libwebhdfs )
* Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse_dfs )
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

下面还有工具安装命令,安装完工具之后,就可以开始用maven对源码进行打包,对于maven的用法txt中也有说明:

An alternative is to run ‘mvn install -DskipTests‘ from Hadoop source top
level once; and then work from the submodule. 

这是在"Building components separately"中的说明。不知道我有没有领会到它正确的意思。然而按照网络上的各种教程,直接到根文件夹里,执行:

$mvn package -Pdist,native,docs -DskipTests -Dtar

就可以。这个在txt中的说明是:

Create binary distribution with native code and with documentation:

当然最好前面加上sudo避免权限的麻烦。

================

本来按照以上的步骤,就可以顺利完成,然而一切配置都不会一帆风顺,中间定会波澜诡谲。首先遇到的第一个问题是,maven自动下载dependency的地点连接速度太慢,有位博主总共花了快3个小时的时间才完成,因此为了快捷以及稳定,将maven的库地址改为开源中国所提供的(详细见网页中的修改方式)。

好的,修改了库地址到墙内之后,速度是快多了。然而又遇到问题,运行卡在了downloading某个文件那一步,不报错,长久地没有反应。据这里网友们的探讨,是因为JDK 1.7的问题(然而hadoop 2.7中指定要JDK 1.7+)。所以就面临两个选择:

1,将JDK换到1.6 。然而这会导致通不过运行:

2,下载hadoop 2.6

(to be continued)

时间: 2024-10-10 16:46:30

Ubuntu 64位 配置hadoop 2.7的相关文章

Win7 64位硬盘安装Ubuntu 64位的细微配置

Win7硬盘安装Ubuntu 64位Ubuntu有细微的区别在于: 1. vmlinuz这个文件,在64位iso里叫vmlinuz.efi,使用时把后缀去掉. 2. 用EasyBCD配置引导文件时,注意64位Win 7采用的是GPT分区表,所以,C盘不是(hd0,0)而是(hd0,1)——前提是你只有一块硬盘或你把Win7装在了主硬盘上,如果是装在了第二块硬盘上,那么C盘是(hd1,1),是1而不是0的原因:GPT分区表默认隐藏了一个系统保留分区,100M,所以你的C盘不在0区而在1区. 3.

vsftpd在Ubuntu 64位下的多用户多目录配置

研究了两天vsftpd,从网上找了很多资料,不是出这问题就是那问题,幸好终于解决了,下面贴出我的配置过程.不喜勿喷... 一.安装vsftpd sudo apt-get install vsftpd 安装完以后大致的目录介绍 /etc/vsftpd/vsftpd.conf 主配置文件 /usr/sbin/vsftpd Vsftpd的主程序 /etc/rc.d/init.d/vsftpd 启动脚本 /etc/pam.d/vsftpd PAM认证文件(此文件中file=/etc/vsftpd/ftp

OpenCV+VS2013+Win8+64位配置文档

配置环境 编程平台:VS2013 系统:Windows8 64位 X64架构 ? 安装OpenCV 1 下载OpenCV-2.4.9,下载网址 http://opencv.org/ 2 解压OpenCV到 D:\Program Files\OpenCV\opencv249 3 配置系统变量 添加OpenCV变量: D:\Program Files\OpenCV\opencv249\build 在Path后添加: D:\Program Files\OpenCV\opencv249\build\x6

ubuntu 64位下安装wps

首先,去官网下载wps.地址:http://community.wps.cn/download/ 然后切换到下载目录,执行如下命令: $ sudo apt-get install ia32-libs* 然后执行安装命令: $ sudo dpkg -i --force-architecture wps-office_8.1.0.3724~b1p2_i386.deb 会报如下错误: Selecting previously unselected package wps-office. (Readin

Ubuntu 64位 PHPStorm Could not initialize class java.awt.Toolkit

1 [email protected]:~/tools/PhpStorm/bin$ ./phpstorm.sh 2 Java HotSpot(TM) Server VM warning: ignoring option MaxPermSize=250m; support was removed in 8.0 3 Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class ja

ubuntu 64位android项目报错的解决方案,打开64位 Ubuntu 的32位支持功能

ubuntu的64位下的android环境,说实话,还真得费点精力了,解决一个问题,又出来一个新问题. 小编昨天刚好不容易将android的环境搭建好了,这不,刚建了个项目,直接就报错,下面是罗列出的几条: 1. libstdc++.so.6:cannot open shared object file:no such file or directory 2. Description Resource Path Location Type Error executing aapt: Cannot

win2003 64位 配置IIS

安装.netFramework4.0,: 配置IIS: 1)开始-控制面板-添加或删除程序-添加/删除Windows组件(A)-在弹出框windows组件,应用选中<程序服务器>,点击<详细信息>-Internet信息服务(IIS)<详细信息>-这里,以前安装32为,配置IIS的时候,IIS中相许信息会出现asp.net,选项,勾上即可,但在64位中配置IIS时,没有发现,选中Internet信息服务管理器.NNTP Service.SMTP Service.万维网服务

Ubuntu 14.04 64位配置Caffe 教程(基于CUDA 7.5)

深度学习是研究计算机视觉的重要工具,尤其在图像分类与识别等领域有着划时代的意义.现在有很多深度学习框架,Caffe是比较常用的一个.本文讲述了Ubuntu 14.04(64位)系统下配置Caffe的基本步骤,参考了Caffe的官方网站   http://caffe.berkeleyvision.org/. 一.系统环境配置 1.1 首先安装一般会用到的一些依赖项.打开Ubuntu系统的终端,输入以下命令: sudo apt-get install libprotobuf-dev liblevel

ubuntu 64位设置兼容32位 for ADB 命令无法运行

在虚拟机上Ubuntu系统里安装ADT开发工具,配置好环境后导入Android工程报错: 找不到Adb命令: ubuntu 12.04 64位设置兼容32位的实现REF:http://www.2cto.com/os/201210/159883.html My configure is as follows: 1. **Newwork setting:etc/apt/apt.conf2. sudo echo "deb http://archive.ubuntu.com/ubuntu/ raring