Win7 32bit下一个hadoop2.5.1源代码编译平台的搭建各种错误遇到

从小白在安装hadoop困难和错误时遇到说起,同时,我们也希望能得到上帝的指示。

首先hadoop更新速度非常快,最新的是hadoop2.5.1,因此就介绍下在安装2.5.1时遇到的各种困难。

假设直接准备在系统上安装binary版本号的,能够參考http://www.cnblogs.com/kinglau/p/3270160.html。

在下载好hadoop文件时。一定要注意下载的hadoop版本号是否与本机的系统版本号相相应,如32bit的还是64bit的,否则在运行start-all.sh时会报错。我就报了例如以下错误:

后来前进到bin的子文件夹下,发现根本就没有winutils.exe这个文件,原因是下载的hadoop是linux版本号的,因此想要在windows上跑,最好又一次编译源代码,因此下载源代码文件进行编译。

hadoop源代码编译:

hadoop源代码编译须要的安装包见:http://blog.csdn.net/u010908524/article/details/38538893

假设是win7 32bit的系统最好參见这个安装过程:http://www.cnblogs.com/smartbooks/p/3694760.html

在编译过程中遇到的问题:

1、假设遇到在下载过程中的错误或是有“网络”二字的错误或是“无法获得源”等,都是网络不好。在用mvn编译过程中。下载超时导致,多重试几次。

2、假设在编译时,遇到例如以下错误:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVuZnV5aXJlbg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

即:hadoop-common:Command
execution failed. 那是在运行hadoop中的某些文件须要管理员取得全部权。所以命令运行失败。

解决方法:

右键单击”D:\hadoop-2.2.0“目录,选择”管理员取得全部权“。

否则编译过程中可能会发生”拒绝訪问“错误(右键没有显示该菜单的。

3、假设编译完毕。而且到达:BUILD SUCCESS。建议将hadoop-dist\target下的hadoop-2.5.1.tar.gz文件解压后。到其bin文件下运行winunits.exe。

假设报错:

说明你在编译时没有选择与系统一致的版本号见http://www.cnblogs.com/smartbooks/p/3694760.html中关于设置PlatForm=Win32的各种改动。

4、假设上述都成功后在cmd.exe启动hadoop/sbin/下的start-all.cmd会出现例如以下结果

弹出4个窗体。执行jps查看当前java进程有五个,说明成功了,恭喜。

可是假设切换到cygwin下运行时,会报:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVuZnV5aXJlbg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" >

这是由于在hadoop文件里没有加入JAVA_HOME环境,而在cmd.exe执行时,用的是windows下的设置环境变量,所以没错。因此在hadoop目录中找到hadoop-env.sh文件将export
JAVA_HOME=${JAVA_HOME}改动为export JAVA_HOME=${JAVA_HOME-“D:\hadoop-2.5.1”}则完毕。

可是在cygwin执行时,仍会报:

且执行jps时。仅仅有jps一个进程。至今仍没找到毛病,假设有大神知道原因还望赐教。

最后希望对大家有帮助。

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-10-09 04:11:03

Win7 32bit下一个hadoop2.5.1源代码编译平台的搭建各种错误遇到的相关文章

Win7 32bit下hadoop2.5.1源码编译与平台搭建中遇到的各种错误

本文从一个小白在安装hadoop遇到的各种困难和错误说起,也希望得到大神的指点. 首先hadoop更新很快,最新的是hadoop2.5.1,因此就介绍下在安装2.5.1时遇到的各种困难. 如果直接准备在系统上安装binary版本的,可以参考http://www.cnblogs.com/kinglau/p/3270160.html.在下载好hadoop文件时,一定要注意下载的hadoop版本是否与本机的系统版本相对应,如32bit的还是64bit的,否则在执行start-all.sh时会报错.我就

Win7(32bit)下Qt5.5.0和OpenCV2.4.9环境的搭建

之前一直基于Windows平台(Win 7 32bit)使用VS2010做OpenCV的开发,现在开始学习在Windows 下使用Qt做OpenCV的开发.本文主要讲述Windows平台下(Win 7 32bit)下Qt5.5.0和OpenCV2.4.9环境的搭建.在此之前,我已安装好Qt5.5.0(with MinGW492)和OpenCV2.4.9(for Windows),并且配置好了它们的环境变量. 开发工具安装 Qt 5.5.0(qt-opensource-windows-x86-mi

Hadoop2.4.0 中Eclipse 平台的搭建

一.Hadoop2.4.0环境下Eclipse平台的搭建 1.安装Eclipse   对于hadoop集群,我们将eclipse安装在master节点上,首先下载Eclipse安装包(如:eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压,并把解压后的目录移动到/usr/local路径下,然后启动eclipse: 下载网址:http://www.eclipse.org/downloads/?osType=linux&release=un

Linux下一个php+mysql+nginx构建编译(三)

在此之前一直是一个关键构建webserver.但一个关键的建筑环境都比较旧的.假定使用一个相对较新的环境,尤其是正式的server.您必须手动编译自己建(基于以下的结构linux centos6.5 32地点server). 三.安装php 进入安装文件夹: cd /opt 下载并解压: Wget http://am1.php.net/get/php-5.4.34.tar.gz/from/this/mirror tar -zxf php-5.4.34.tar.gz 进入文件夹编译: cd php

Linux中如何从源代码编译安装程序

现代的Linux发行版本通常使用软件包管理机制对软件进行打包安装,省去了软件的 编译安装过程,但在有些情况下,仍然需要使用源代码编译安装的方式为操作系统安装新的应用程序,下面我们来了解一下编译安装的基本过程: 我们以安装Apache服务为例,来说明应用程序的源代码编译安装的过程. Apache服务至此就安装完成了,编译安装的过程大概就是这些. 原文地址:http://blog.51cto.com/14154700/2348753

Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool

在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 scala-2.11.7.tgz spark-1.4.0-bin-hadoop2.6.tgz 都可以从官网下载. 2. scala安装和配置 scala-2.11.7.tgz解压缩即可.我解压缩到目录/home/vm/tools/scala,之后配置~/.bash_profile环境变量. #sca