Windows上搭建hadoop开发环境

前言

Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单，本篇文章是介绍第二种方式Cygwin模拟Linux环境。

准备工作

（1）安装JDK1.6或更高版本，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK。

（2）hadoop官网下载hadoop http://hadoop.apache.org/releases.html 。

安装Cygwin

Cygwin是Windows平台下模拟Unix环境的工具，需要在安装Cygwin的基础上安装Hadoop，下载地址：http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件。

一、双击下载好的安装文件，点击下一步进入程序引导安装页，这里有三个选项，选择第一项网络安装：

  • 网络安装：通过网络下载并安装软件包
  • 下载但不安装：通过网络下载软件包
  • 本地安装：是用本地软件包安装

二、选择install from internet

三、选择安装路径

三、选择local Package Directory

四、选择您的Internet连接方式

五、选择合适的安装源，点击下一步

六、这一步比较重要，以下软件包要确保被安装：

在Select Packages界面里，Category展开net，选择如下openssh和openssl两项

　　

如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed

　　

如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim

　　

七、点击“下一步”，等待安装完成。

八、配置环境变量

在“我的电脑”上点击右键，选择菜单中的“属性"，点击属性对话框上的高级页签，点击”环境变量"按钮，在系统变量列表里双击“Path”变量，在变量值后输入安装的Cygwin的bin目录，例如：D:\cygwin64\bin

久、安装sshd服务

双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，执行后，会提示输入密码。

此时输入密码和确认密码，回车。最后出现Host configuration finished.Have fun!表示安装成功。

输入net start sshd，启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

安装hadoop

前面部分在公司电脑操作，以下安装操作在本机操作，过程不受影响。

下载hadoop

hadoop官网下载地址： http://hadoop.apache.org/releases.html 。

把hadoop压缩包解压到/home/用户名 目录下，文件夹名称更改为hadoop，可以不修改，但后边在执行命令时稍显麻烦。

（1）单机模式配置方式

　　单机模式不需要配置，这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。

（2）伪分布模式

　　可以把伪分布模式看作是只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。

伪分布模式只需要修改几个配置文件即可。

配置hadoop-env.sh，记事本打开改文件，设置JAVA_HOME的值为你的JDK安装路径，例如：

JAVA_HOME="D:\javatools\jdk1.6.0"

配置core-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6. 　　　　<name>fs.default.name</name>
  7. 　　　　<value>hdfs://localhost:9000</value>
  8. 　　</property>
  9. 　　<property>
  10. 　　　　<name>mapred.child.tmp</name>
  11. 　　　　<value>/home/u/hadoop/tmp</value>
  12. 　　</property>
  13. </configuration>

 配置hdfs-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6. 　　<name>dfs.replication</name>
  7. 　　<value>1</value>
  8. </property>
  9. </configuration>

 配置mapred-site.xml

[html] view plain copy

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5. <property>
  6. 　　　　   <name>mapred.job.tracker</name>
  7. 　　　　   <value>localhost:9001</value>
  8. 　　    </property>
  9. 　　    <property>
  10. 　　　　   <name>mapred.child.tmp</name>
  11. 　　　　   <value>/home/u/hadoop/tmp</value>
  12. 　　    </property>
  13. </configuration>

启动hadoop

打开Cgywin窗口，执行cd ~/hadoop命令，进入hadoop文件夹，启动Hadoop前，需要先格式化Hadoop的文件系统HDFS，执行命令：bin/hadoop
namenode -format，（注意：namenode要小些，否则如果输入NameNode，会提示错误，找不到或无法加载主类NameNode。）如下图：

输入命令 bin/start-all.sh，启动所有进程。

验证是否成功安装

打开浏览器，输入网址：http://localhost:50030
    然后回车，如果能访问则安装成功。访问截图如下：

参考文献：《Hadoop实战》

时间： 2024-12-14 03:51:06

Windows上搭建hadoop开发环境的相关文章

在windows上搭建hadoop开发环境

下载hadoop: http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 点击下面链接进行下载 然后进行解压 如果解压出现下面的情况 则用管理员身份进行解压,cd到压缩包所在文件夹下,执行下面的命令 start winrar x -y hadoop-3.1.3.tar.gz 解压完后,bin里面还缺少了winutils.exe和hadoop.dll 需要额外下载 https://github.com/s911415/apache-had

在windows上搭建django开发环境

参考自:https://docs.djangoproject.com/en/dev/howto/windows/ 环境: windows 8.1 Steps: 安装python 在 http://python.org/download/上下载windows版本进行安装 添加下面的路径到环境变量PATH: C:\Python34\;C:\Python34\Scripts; 安装开发IDE eclipse 下载地址: http://www.eclipse.org/downloads/ 安装eclip

eclipse上搭建hadoop开发环境

一.概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成: 2.软件版本为hadoop-2.7.3.tar.gz.apache-maven-3.5.0.rar. 二.使用eclipse连接hadoop集群进行开发 1.在开发主机上配置hadoop ①将hadoop-2.7.3.tar.gz解压到本地主机上 ②使用windows版本的hadoop中的bin替换目标中的bin文件夹 ③配置windows上的hadoop环境变量 2.在eclipse上配置hadoop集群信

Windows上搭建android开发环境

在搭建android开发环境时需要四部分内容,框架如下 其中Java SDK和Eclipse在java4android中有过介绍,重点介绍ADT和Android SDK的安装. 安装Android SDK: 打开https://developer.android.com/sdk/index.html#Other下载Android SDK并安装,安装完成后打开Android SDK Manager,下载你需要的SDK版本 打开Eclipse,点击Window→Preferences→Android

ubuntu14.04上搭建android开发环境

这几天心血来潮,想在ubuntu上写写android软件.所以就上网找些资料在ubuntu上搭建android环境,结果要么时不完整的,要么就是过时的.所以我把我搭建android环境的过程写下了,以便以后忘了可以参考参考,也给来看这篇博文的读者一些启迪吧. 搭建android环境有几个步骤: 1.必须得安装java吧 下载链接 java 选择最新的版本吧,将jdk解压到自己要放的文件夹,我的是/var/android/java. 然后配置环境变量: sudo gedit /etc/profil

Cocos2d-x 3.1.1 在Windows下搭建Android开发环境

Cocos2d-x 3.1.1 在Windows下搭建Android开发环境 本篇博客来给大家介绍如何在Windows下搭建Cocos2d-x Android开发环境,笔者前面写了几篇博客都是针对如何对Android项目进行交叉编译的,对应了Cocos2d-x 2.2.3版本和Cocos2d-x 3.0版本,其实3.0版本跟3.1.1是一样的,只是笔者介绍如何不适用命令行对Cocos2d-x Android项目进行交叉编译,而直接在Eclipse进行交叉编译. 前面几篇博客,如果有需要比较差别的

Windows下搭建PHP开发环境，整合Apache+PHP+MySQL（举例软件为32位）

原文来自:http://www.cnblogs.com/pharen/archive/2012/02/06/2340628.html 在原作者的基础上,只是做了详细的解释.避免走弯路.(注:红色字体为本人加的) 一.准备工作-下载所需软件 Apache  httpd-2.2.22-win32-x86-openssl-0.9.8t.msi PHP       php-5.3.10-Win32-VC9-x86.zip MySQL   mysql-5.5.20-win32.msi 二.安装软件 安装A

Windows下搭建PHP开发环境

Windows下搭建PHP开发环境 一.准备工作-所需软件 ·   Apache  \php\httpd-2.2.25-win32-x86-no_ssl.msi ·   PHP \php\php-5.3.1-Win32-VC6-x86.zip ·   Oracle client 10g\php\client 二.安装软件 安装Apache: 双击安装,与安装其他Windows软件没有什么区别,在填Server Infomation时,并没有特殊规定,只要输入的信息符合格式即可. 安装完成之后,在

在windows上安装Grails开发环境

适用于 Grails 2.2.x 这第一个视频展示了如何在Windows上安装Grails和Java.要安装Grails,您将需要一个Java开发工具包(www.java.com)和Grails的库(www.grails.org).这个视频将告诉你如何下载和安装这两个东西.然后,它显示了如何设置适当的环境变量,让您可以运行Grails命令. 视频: 在windows上安装Grails开发环境 第二个视频,您将学习如何安装基于Eclipse的集成开发环境(IDE)GGTS(Groovy & Gra