在windows系统中安装hadoop

1、安装Cygwin

http://www.cygwin.com/ 下载cygwin的setup.exe,双击运行:

选择从Internet安装:

设置安装目录:

设置安装包目录:

设置“Internet Connection”的方式,选择“Direct Connection”:

选择一个下载站点:

“下一步”之后,可能会弹出下图的“Setup Alert”对话框,直接“确定”即可

在“Select Packages”对话框中,必须保证“Net Category”下的“OpenSSL”被安装:

如果还打算在eclipse 上编译Hadoop,则还必须安装“Base Category”下的“sed”:

“Devel Category”下的subversion 建议安装:

下载并安装:

当下载完后,会自动进入到“setup”的对话框:

在上图所示的对话框中,选中“Create icon on Desktop”,以方便直接从桌面上启动
Cygwin,然后点击“完成”按钮。至此,Cgywin 已经安装完成。

2、配置环境变量
    需要配置的环境变量包括PATH 和JAVA_HOME:将JDK 的bin 目录、Cygwin 的bin 目录
以及Cygwin 的usr\bin(sbin)目录都添加到PATH 环境变量中;JAVA_HOME 指向JRE 安装目录。

3、windows系统上运行hadoop集群,伪分布式模式安装步骤:

①启动cygwin,解压hadoop安装包。通过cygdrive(位于Cygwin根目录中)可以直接映射到windows下的各个逻辑磁盘分区。例如hadoop安装包放在分区D:\下,则解压的命令为$ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解压后可使用ls命令查看,如下图:

默认的解压目录为用户根目录,即D:\cygwin\home\lsq(用户帐户)。

②编辑conf/hadoop-env.sh文件,将JAVA_HOME变量设置为java的安装目录。例如java安装在目录C:\Program Files\java\jdk1.6.0_13,如果路径没空格,直接配置即可。存在空格,需将Program Files缩写成Progra_1,如下图:

③依次编辑conf目录下的core-site.xml、mapred-site.xml和hdfs-site.xml文件,如下图:

④安装配置SSH

点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令,然后按下图上的选择输入:

当提示Do you want to use a different name?输入yes,这步是配置安装的sshd服务,以哪个用户登录,默认是cyg_server这个用户,这里就不事先新建cyg_server这个用户,用当前本机的超管本地用户:chenx,后续根据提示,2次输入这个账户的密码

出现Host configuration finished. Have fun! 一般安装顺利完成。如下图:

输入命令$ net start sshd,启动SSH,如下图:


     注:sshd服务安装完之后,不会默认启动,如果启动报登录失败,不能启动,可在服务属性-Log On窗口手工修改,在前述的过程之中,cygwin不会校验密码是否正确,应该只是校验了2次的输入是否一致,然后再手工启动。不知道为什么,sshd服务如果选择local system的登录方式,后续会有问题,所以sshd服务最好设置成当前的登录用户。

⑤配置ssh登录

执行ssh-keygen命令生成密钥文件

输入如下命令:

cd ~/.ssh

ls -l

cat id_rsa.pub >> authorized_keys

完成上述操作后,执行exit命令先退出Cygwin窗口,如果不执行这一步操作,下面的操作可能会遇到错误。接下来,重新运行Cygwin,执行ssh localhost命令,在第一次执行ssh localhost时,会有“are you sure you want to continue connection<yes/no>?”提示,输入yes,然后回车即可。当出现下图提示,即顺利完成该步:

⑥hadoop运行

格式化namenode

打开cygwin窗口,输入如下命令:

cd hadoop-0.20.2

mkdir logs

bin/hadoop namenode –format

启动Hadoop

在Cygwin 中,进入hadoop 的bin 目录,

运行./start-all.sh 启动hadoop;

可以执行./hadoop fs -ls /命令,查看hadoop 的根目录;

可以执行jps 查看相关进程;

如下图:(如果显示和下图类似,一般hadoop安装/启动成功)

转自:http://my.oschina.net/u/570654/blog/112757

时间: 2024-10-11 14:08:56

在windows系统中安装hadoop的相关文章

在Windows系统中安装集成的PHP开发环境

原文:在Windows系统中安装集成的PHP开发环境 刚想学php的,又不会配置复杂php的环境,可以使用集成的,目前网上提供常用的PHP集成环境主要有AppServ.phpStudy.WAMP和XAMPP等软件,这些软件之间的差别不大.每种集成包都有多个不同的版本,可以下载版本比较高的任意一个集成软件安装使用. 我用的是appserv-win32-2.5.10.exe下载地址:http://www.appservnetwork.com/index.php?newlang=chinese App

MongoDB学习(1)—在Windows系统中安装MongoDB

概述 本文主要介绍在Windows系统安装MongoDB的方法. MongoDB官方网址:http://www.mongodb.org/,最新版本为2.6.7. 注意: 从2.2版本开始,MongoDB并不支持Windows XP.请使用最新版本的windows来使用最新版本的MongoDB. 如果您正在运行任何版本的Windows Server 2008 R2或Windows 7,请安装热修复补丁来解决一个在Windows上使用内存映射文件问题. 补丁下载地址:官方 360云盘(访问密码:5e

Sass学习笔记 -- 在Windows系统中安装Sass和Compass

Sass和Compass都是基于Ruby编程语言的命令行工具.要使用它们,你首先需要在电脑中安装Ruby,Windows系统并没有预置Ruby,因此如果你之前没有安装过Ruby,现在就需要进行安装.安 装Ruby只需要花费几分钟的时间. 直接百度搜索"ruby"或者点击http://rubyinstaller.org/downloads/ 下载,根据自己系统配置,如果是x64,则选择" Ruby 2.3.1 (x64)" 按照提示,点击下一步,注意这里需要全部勾选

在Windows系统中安装PyQt5

1. 安装PyQt5 PyQt5的官方网站是https://www.riverbankcomputing.com.截至目前最新版本是5.11. 安装PyQt5有两种方式:可以下载最新源码进行编译安装,也可以使用pip install进行在线安装. 推荐使用pip install命令进行在线安装,这种方式是最简单的,只需要运行一行命令即可. pip install PyQt5 Python安装模块使用的镜像默认是国外的,因为网络问题,下载比较慢,还经常会下载失败,建议使用国内镜向.下面的命令就是使

[转]Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

Maven(一)——如何在Windows操作系统中安装配置Maven环境

今天难得的周末,借此难的机会总结一下关于maven的一些操作: 1.在安装maven之前要确认计算机已经安装并配置了JDK: 2.下载maven: maven-3.0.3:http://download.csdn.net/detail/wangshuxuncom/7367413 maven-3.0.5:http://download.csdn.net/detail/wangshuxuncom/7551799 说明:上述资源均免费下载 这里选择maven-3.0.3来演示安装.将maven-3.0

windows系统字体安装使用的几种方法

字体简易安装方法: 1.打开系统盘的 windows 下的 fonts 文件夹:2.用另一个窗口打开字体存放的文件夹:3.在存放字体的文件夹中选择要安装的字体(部分选或全选均可):4.用鼠标右键将所选字体拖到windows 下的 fonts 文件夹上,松开鼠标,在弹出的提示框上选择:在当前位置创建快捷方式.位置,如果要改变,应先把windows 下的 fonts 文件夹中的快捷方式删除,然后重新按上述方法安装. ------另再提供一种差不多的------1.在非系统磁盘新建一个文件夹,用来存放

Windows系统中Xshell与Linux连接时遇到的问题

前提条件:在Windows系统中已经安装了Xshell,并且安装了虚拟机软件和Linux系统 步骤1.在Linux系统中root用户下,使用ifconfig命令查看虚拟系统Linux的IP地址.如图1 图1 步骤2.打开Xshell,创建连接,在新建会话属性对话框中,登记连接的名字,选择使用的协议,以及需要连接的虚拟机IP地址.如图2 图2 当连接建立好,只需根据提示输入用户名和密码就可以在Xshell终端使用Linux系统. 下面讨论当连接不能连接时,需要在哪许方面找原因: 原因1:虚拟机网络

CentOS 系统中安装 ArcGIS Server10.1 一些问题及解决

由于工作中主要使用RoR开发,所以就把这个帖子发在这里了 本人由于从事GIS相关工作,因此工作中经常用到ArcGIS及相关软件,开发使用RoR,为了部署和服务器配置方便,故采用Linux作为服务器操作系统.ArcGIS Server为地图发布的重要工具,平常大多部署在Windows环境下,ESRI官网提供了Linux下安装的教程,同时google上也能搜到一些安装的教程,这里就在安装过程中遇到了一些问题与解决方法,分享出来与大家共同进步. 参考文档:http://www.cnblogs.com/