windows下hadoop的单机伪分布式部署(2)

下面开始hadoop的安装与配置;

(1)安装jdk

我安装的是JDK1.7.0_40,windows x64版的

下载完之后,直接点击安装,

我的安装路径为默认路径:C:\Program Files\Java\jdk1.7.0_40;

安装完毕后,设置环境变量:

JAVA_HOME指向JDk安装目录

PATH指向JDK的bin目录

设置完成之后,在cmd中 输入java命令,如果出现一下画面,即为安装成功:

(2)安装hadoop

下载hadoop,http://hadoop.apache.org

我下载的版本是hadoop-1.2.1.tar.gz

下载之后 将该文件解压到C:\cygwin64\home\ldm\目录下,并将文件夹的名字改为hadoop

配置conf/hadoop-env.sh:

配置JDk即可:

export JAVA_HOME=/usr/local/jdk

这里呢,要在cygwin下面执行命令:

LN -s C:\Program Files\Java\jdk1.7.0_40  /usr/local/jdk;

生成 链接文件;

否则 直接配置windows下的路径时,肯能会有不能识别的问题。

配置 core-site.xml:

<configuration>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
</configuration>

配置hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

(3)启动hadoop

格式化文件系统:

hadoop namenode -format

启动hadoop:

启动关闭所有任务:start-all.sh/stop-all.sh

启动关闭HDFS:start-dfs.sh/stop-dfs.sh

启动关闭MapReduce:start-mapred.sh/stop-mapred.sh

(4)hadoop的访问

Hadoop的重要端口:

JobTracker管理界面:50030

HDFS管理界面:50070

HDFS通信界面:9000

MapReduce通信端口:9001

常用的访问界面:

NameNode界面:http://localhost:50070

JobTracker管理界面:http://localhost:50030

如果hadoop启动成功的话,就可以从上述访问界面上访问。

windows下hadoop的单机伪分布式部署(2)

时间: 2024-08-10 18:12:26

windows下hadoop的单机伪分布式部署(2)的相关文章

windows下hadoop的单机伪分布式部署(3)

下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件 在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hadoop-eclipse-pligin-1.2.1.jar; 而是提供了源代码文件,需要我们自行重新编译成jar包文件:这里方便,大家可以从这里下载: hadoop-eclipse-plugin-1.2.1.jar.pdf 由于博客上传文件的类型限制,故添加了pdf后缀,下载之后重命名,去掉".pdf&

windows下hadoop的单机伪分布式部署(1)

hadoop的运行环境应该是在linux环境.如果想在windows环境下安装和运行hadoop,一般有两种方式:一种是VM的方式linux操作系统,这样可以实现全linux环境的hadoop运行:另一种方式安装cygwin模拟linux环境,该方法相对比较简单方便. 本文采取cywin的方式.下面将介绍下cygwin的安装与配置: (1)cygwin的安装 下载cygwin安装文件:http://cygwin.com; 我用的是64位版:操作系统为win7: 下载的setup文件实际上只是一个

windows下hadoop的集群分布式部署

下面我们进行说明一下hadoop集群的搭建配置. 本文假设读者具有hadoop单机配置的基础,相同的部分不在重述. 以三台测试机为例搭建一个小集群,三台机器的ip分别为 192.168.200.1;192.168.200.2;192.168.200.3 cygwin,jdk的安装同windows下hadoop的单机伪分布式部署(1),这里略过. 1.配置 hosts 在三台机子的hosts文件中加入如下记录: 192.168.200.1 hadoop1  #master namenode 192

hadoop(1.2) 伪分布式部署

1. 部署环境 系统:  CentOS 6.3 JDK和hadoop的下载直接参考分布式安装... 2. 伪分布式环境 不需要配置/etc/hosts 本机也需要免密码ssh登录 ssh localhost 3. 配置修改 1. conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</va

Hadoop安装&amp;单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04

一.安装Java 1.下载jdk-8u91-linux-x64.tar.gz文件,网址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装: #选择一个安装路径,我选择的是/opt,并将下载的jdk-8u91-linux-x64.tar.gz文件复制到这个文件夹下 $ cd /opt $ sudo cp ~/Downloads/jdk-8u91-linux-x64.tar.gz -i /opt/ #解压

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门 首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoop教程. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.7.1, Hadoop 2.4.1等. Hadoop版本 Hadoop 有两个主要版本,

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,