hadoop2.5重新编译问题

这几天一直在搭建hadoop环境,由于2.5以及2.6的版本需要在64位环境下重新编译,所以中间走了不少弯路。现在总结一下,由于手头资源紧张,只能在pc上模拟环境,具体环境如下:

宿主机:联想的笔记本,win8.1系统,4g内存(刚好后安装3太linux的虚拟机)

虚拟机:Ubuntu

宿主与虚拟机会话工具:sercureCRT

1、从ubuntu上wget jdk

刚开始下载的是最新的jdk1.8,可能是新版本的原因,所以直接在虚拟机上wget,速度比较快,顺利下载安装以及配置环境变量,但是编译hadoop的时候比较坑爹

hadoop的2.5的源码不支持1.8,提示 ul标签错误。后来百度才知道,hadoop2.5不能在jdk1.8环境下编译。所以只能重新下载1.7。然后到oracle的官网找1.7,可能是1.7是老版本的原因

,虽然也能wget,但是速度极为慢。当时一直想宿主机和虚拟机共享的方式,先用迅雷下到windows上,然后虚拟机共享,后来各种尝试,各种失败。哎,当时比较脑残,没想到用一些好用的ftp工具,

比如,filezila;

时间: 2024-11-03 21:42:39

hadoop2.5重新编译问题的相关文章

hadoop-2.2.0编译

由于从官网下载的hadoop中依赖包 native hadoop library是基于32位版本的,在64位机器上安装,会出现以下错误: 2014-05-30 19:47:49,703 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]2014-05-30 19:47:49,887 WARN org.apache.hadoop.hdfs

hadoop2.1.0编译安装教程(转载)

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w

Hadoop-2.7.6编译

1. 使用系统和软件 操作系统:CentOS Linux release 7.4.1708 (Core) 64位 使用软件如下: jdk1.8.0_112.tar.gz hadoop-2.7.6-src.tar.gz apache-ant-1.9.11-bin.tar.gz apache-maven-3.5.3-bin.tar.gz findbugs-3.0.1.tar.gz protobuf-2.5.0.tar.gz 2. 必要的包安装 [[email protected] ~]# yum i

hadoop2.Xeclipse插件编译

一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse 上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所以我们自己编译一个 Eclipse插件,方便我们在我们本地上调试,经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件比之前简单多了.接下来 我 们开始编译Hadoop-eclipse-plugin插件,并在Eclipse开发Hadoop. 二.软件安装并配置 1

Hadoop-2.5.1 编译安装步骤

环境:  系统  CentOS 6.3 64 位  * 2  Master           10.10.55.112 Slave1           10.10.55.133 软件:  Hadoop- 2.5.1- src.tar.gz 一.准备环境 1.1     分别设置节点ip地址(固定)  此步骤所有节点都要操作  vi /etc/sysconfig/network- scripts/ifcfg – eth0      1.2     修改节点主机名此步骤所有节点都要操作  vi 

hadoop-2.7.4编译安装

1.protobuf编译安装 [[email protected] ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc* [[email protected] ~]# tar -zxf protobuf-2.5.0.tar.gz [[email protected] ~]# cd protobuf-2.5.0/ [[email protected] protobuf-2.5.0]#

Hadoop2 自己动手编译Hadoop的eclipse插件

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

hadoop2.5发布:最新编译 32位、64位安装、源码包、API以及新特性

hadoop2.5发布:最新编译 32位.64位安装.源码包.API以及新特性 http://www.aboutyun.com/thread-8751-1-1.html (出处: about云开发) 问题导读:1.如何获取Hadoop安装包?2.编译Hadoop过程中,需要注意哪些问题?3.如何寻找API?4.如何获取Hadoop源码? 上述问题有的在本文,有的则在本文链接,感兴趣,可以找找答案 2014年08月06日 Hadoop2.5发布 官网下载地址 对Hadoop2.5进行了编译,编译的