Hadoop：Windows 7 32 Bit 编译与运行

所需工具


1.Windows 7 32 Bit OS(你懂的)

2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz)

3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz)

3.JDK 1.7

4.Maven
3.2.1(apache-maven-3.2.1-bin.zip)

5.Protocol Buffers 2.5.0

6.Unix command-line
tool Cygwin(Setup-x86.exe)

7.Microsoft Windows SDK v7.1

Apache Hadoop
2.X推荐运行环境是64Bit机器，因为实际运行过程中要超过4GB内存嘛！32Bit适合个人开发调试学习使用。

环境配置

前言：由于Apache Hadoop
2.2.0发行版使用的动态链接库(bin\hadoop.dll、libwinutils.lib、winutils.exe)是Windows
64bit的，所以需要使用源代码重新编译成32bit的（有可能你下载回来的hadoop-2.2.0.tar.gz发行包里没有这些Windows动态库的）。如果你的系统盘是SSD的话，建议将安装在C盘根目录。

环境变量

(工具软件：3,4,5,6,7)安装过程不再详述，一路Next就行(JavaSE推荐根目录：c:\java)。重点在环境变量的配置部分，增加以下环境变量到“系统变量”中(Java路径不能有空格)：

JAVA_HOME=C:\Java\jdk1.7.0_45

Platform=Win32

M2_HOME=C:\apache-maven-3.2.1

Path=;C:\cygwin\bin;C:\apache-maven-3.2.1\bin;C:\protoc-2.5.0-win32;

配置示例(别忘了设置Path哦)：

解压源代码

将hadoop-2.2.0-src.tar.gz源代码解压到D盘根目录，看上去路径如下：D:\hadoop-2.2.0\

Apache Hadoop svn 代码库地址：http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0

需要手工修正源代码的几处编译错误：

第一处：

修改文件：\hadoop-common-project\hadoop-auth\pom.xml

修改内容：在大约56行的位置增加一个Xml配置节点。

<dependency>
　　<groupId>org.mortbay.jetty</groupId>
　　<artifactId>jetty-util</artifactId>
　　<scope>test</scope>

</dependency>

修改示例：

第二处：

修改文件：hadoop-common-project\hadoop-common\src\main\native\native.sln

修改内容：用记事本打开文件。

替换内容：

GlobalSection(ProjectConfigurationPlatforms) =
postSolution
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Mixed
Platforms.ActiveCfg =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Mixed
Platforms.Build.0 =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Win32.ActiveCfg =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Win32.Build.0 =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|x64.ActiveCfg =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|x64.Build.0 =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Mixed
Platforms.ActiveCfg =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Mixed
Platforms.Build.0 =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Win32.ActiveCfg
= Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Win32.Build.0
= Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|x64.ActiveCfg
= Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|x64.Build.0 =
Release|x64
EndGlobalSection

新内容：

GlobalSection(ProjectConfigurationPlatforms) =
postSolution
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Win32.ActiveCfg =
Release|Win32
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|Win32.Build.0 =
Release|Win32
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|x64.ActiveCfg =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Debug|x64.Build.0 =
Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Win32.ActiveCfg
=
Release|Win32
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|Win32.Build.0
=
Release|Win32
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|x64.ActiveCfg
= Release|x64
{4C0C12D2-3CB0-47F8-BCD0-55BD5732DFA7}.Release|x64.Build.0 =
Release|x64
EndGlobalSection

修改示例：

第三处：

修改文件：hadoop-common-project\hadoop-common\src\main\native\native.vcxproj

修改内容：

查找替换”Release|x64“为”Release|Win32“

查找替换”<Platform>x64</Platform>“为”<Platform>Win32</Platform>“

修改示例：

第四处：

右键单击”D:\hadoop-2.2.0“文件夹，选择”管理员取得所有权“。否则编译过程中可能会发生”拒绝访问“错误(右键没有显示该菜单的，自行网上查找注册表修改方法)。

编译过程


打开“开始”--“所有程序”--“Microsoft Windows SDK v7.1”--“Windows SDK 7.1 Command
Prompt”，进入VC++的命令行工具（一定要从此处进入方可顺利编译Hadoop源代码，记着是以管理员身份运行）。命令如下：

切换至源代码根目录，执行编译命令：mvn package -Pdist,native-win -DskipTests
-Dtar

示例运行结果

Setting SDK environment relative to C:\Program Files\Microsoft
SDKs\Windows\v7.1
\.
Targeting Windows 7 x86 Debug

C:\Windows\system32>d:

D:\>cd D:\hadoop-2.2.0

D:\hadoop-2.2.0>mvn package -Pdist,native-win -DskipTests -Dtar

................................2.2.1版本编译完成大约需要16分钟左右

................................2.4.0版本编译完成大约需要22分钟左右(觉得编译过程慢的话：自己动手配置镜像服务器)


配置运行

Hadoop编译成功后，程序集输出在： hadoop-common-project\hadoop-common\target\hadoop-common-2.2.0目录下。

1.解压缩”hadoop-2.2.0.tar.gz“至D盘如下目录：D:\hadoop-common-2.2.0

2.合并替换发行版本的64动态链接库：主要是是以下几个文件(bin\hadoop.dll、bin\hadoop.exp、bin\hadoop.lib、bin\hadoop.pdb、bin\libwinutils.lib、bin\winutils.exe、bin\winutils.pdb)，从编译成功后的输出目录Copy到Apache发行版形同目录下替换即可。

3.修改配置文件

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>

		<name>fs.defaultFS</name>

		<value>hdfs://localhost:9000</value>

	</property>

</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/hadoop-bin/data/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/hadoop-bin/data/datanode</value>

    </property>

	<property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

	<property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

其他配置文件保持默认即可。

4.配置Hadoop Hdfs运行环境变量(重要)

HADOOP_HOME=D:\hadoop-common-2.2.0

Path=D:\hadoop-common-2.2.0\bin

5.格式化hdfs文件系统

以管理员身份打开命令行，并切换到：D:\hadoop-common-2.2.0\bin目录下，执行命令：

hadoop namenode -format

如果不出意外，hdfs文件系统将格式化成功，你会在D:\hadoop-bin\data看到已经生成了namenode文件夹。

6.启动Hadoop HDFS服务器

同样管理员身份命令行，切换到：D:\hadoop-common-2.2.0\sbin目录下，执行命令：

start-all.cmd

不出意外，用浏览器打开：http://localhost:8042 或者 http://localhost:50070
会有惊喜哦！记得别把本地的端口占用了。

7.上传文件到HDFS

如果你对命令行熟悉的话，可以采用命令行的方式推送的HDFS。如果你的hdfs-site.xml配置文件时Copy我以上的示例的话，那么WEBHDFS默认是开启的，什么意思？就是通过Http
RestFull风格API管理文件哦！另外还要记得把dfs.permissions设置为false，要不你没有权限上传文件的哦！

推荐个HDFS文件管理工具：Red Gate Software Ltd(大名鼎鼎的Red Gate)

上传文件到HDFS

8.停止Hadoop HDFS服务器

同样管理员身份命令行，切换到：D:\hadoop-common-2.2.0\sbin目录下，执行命令：

stop-all.cmd

编后语

Windows 64 Bit是有它自己的道理的，虽然通过一些努力编译出了32Bit环境下的程序。。。

参考链接

http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

你还可以用我编译好的32Bit程序先撸一把：http://yunpan.cn/QNbM3rZXF2L8x  访问密码 e9b3

Hadoop：Windows 7 32 Bit 编译与运行,布布扣,bubuko.com

时间： 2024-12-20 01:18:12

Hadoop：Windows 7 32 Bit 编译与运行的相关文章

Windows 下使用 GNUstep 编译并运行 Objective-C 程序

今晚上开始看<Objective-C 程序设计(第4版)>这本书(OSChina 正在做此书的书评活动,详情请看这里),到现在为止看到第 7 章,于是想动手试试写两简单的程序编译跑跑看. 不习惯 Mac,在 Windows 下装了个 GNUstep 也可以玩. 非常简单的几步,你也来试试吧? 1. 下载并安装 GNUstep 下载地址:http://ftpmain.gnustep.org/pub/gnustep/binaries/windows/ 有三个文件是必须安装的,分别是: gnuste

hadoop——在命令行下编译并运行map-reduce程序 2

hadoop map-reduce程序的编译需要依赖hadoop的jar包,我尝试javac编译map-reduce时指定-classpath的包路径,但无奈hadoop的jar分布太散乱,根据自己写的程序来一个个指定jar包的位置又太麻烦,于是又尝试修改java的classpath配置文件,结果不知道为什么编译时还是提示找不到jar包,于是只有用最后一劳永逸的方法:把hadoop的所有jar包都copy到java当前classpath寻找的路径文件中: 我的hadoop安装在/usr/loca

[hadoop]Windows下eclipse导入hadoop源码，编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

[hadoop]命令行编译并运行hadoop例子WordCount

首先保证JDK.Hadoop安装设置成功 可以参考[linux]ubuntu下安装hadoop [linux]ubutnu12.04 下安装jdk1.7 使用hadoop版本为1.2.1,jdk为1.7 在hadoop-1.2.1\src\examples\org\apache\hadoop\examples找到WordCount.java 源码如下: 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License&q

windows Notepad++ 上配置 vs 编译器 ， 编译并运行

windows 中 配置 vs编译器 在Linux下,Kris是倾向于在终端中使用gcc和g++来编译C/C++的,在Windows下相信很多人都是选择臃肿的Visual Studio,我亦不免如此.但是,我希望在Windows下也能像Linux下一样简洁编程,于是开始了我的Windows下的C/C++命令行编译环境打造之路. 几乎没有人会否认集成开发环境 (IDE)(例如,Visual Studio,NetBeans,Eclipse)所提供的能使编程工作变得相当简单的诸多功能.但,还是说说命令

Windows环境下，编译运行Objective-C，并且利用UltraEdit作IDE

这是一种权宜之计,在没有Mac OS X的情况下,使用这套方案可以先行体会一下Objective-C. 如果玩下来觉得感觉不错,想深入发展,还是整台Mac吧. 一:编译环境安装GNUStep www.gnustep.org网站下载以下三个包,按顺序安装 1. gnustep-msys-system-0.30.0-setup.exe 2. gnustep-core-0.31.0-setup.exe 3. gnustep-devel-1.4.0-setup.exe 二:运行Shell 开始 -> 所

如何在Windows下使用Linux系统来编译和运行程序？

很多开发人员都有这样的疑问:自己平时是在Windows下面办公的,而自己编写的程序的运行环境又是Linux的,如何从Windows切换到Linux呢?是不是要专门到Linux机器上去编写代码呢? 实际上,只要在Windows下安装一个叫做SecureCRT的软件和一个叫做FileZilla的软件,便可轻松解决问题. SecureCRT和FileZilla简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,简单地说是Windows下登录Linux服务器主机的软件. Fil

Ubuntu下编译安装运行FreeRdp连接Windows.

linux下编译源码进行USB重定向到远程桌面的测试,经过参数的正确配置,可以正常的重定向.具体的操作步骤如下: ⑴在虚拟机上安装git,安装命令如:sudo apt-get install git. ⑵从GitHub下载FreeRdp源码,命令:git clone git://github.com/FreeRDP/FreeRDP.git ⑶到FreeRdp目录下下载FreeRDP编译和运行所依赖的关系库,命令:sudo apt-get install build-essential git-c

手把手教你在Windows下使用MinGW编译libav（参考libx264的编入）

转自:http://www.th7.cn/Program/cp/201407/242762.shtml 手把手教你在Windows下使用MinGW编译libav libav是在Linux下使用纯c语言开发的,不可避免的,libav源码使用了一些gcc的特性,那么在Windows下很难使用VC编译,但是使用MinGW编译却简单多了,下面我将根据自己的经历逐步介绍使用MinGW编译libav的过程以及在此过程中遇到的问题及其解决方法. 1      安装MinGW编译环境 1.1    安装MinG