Hadoop single Node cluster

目的：

本文描述怎么安装和配置一个单结点的Hadoop，以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);

先决条件：

支持的平台

• GNU/Linux 可用作开发和生产平台. Hadoop 在2000台GNU/Linux 的集群上做过演示.


• Windows 平台也是支持的， 下面的步骤仅对linux适用. 要在Windows上安装hadoop, 查看 wiki
  page.

所需软件：

在linux下，所需的软件如下:

1. 必须安装JAVA. 推荐的JAVA版本请看 HadoopJavaVersions.


2. 必须安装SSH， 并且sshd必须启动，Hadoop脚本用sshd来管理远程的Hadoop守护进程(daemons);

安装所需软件

如果你的集群上没有这些所需的软件， 那就需要先安装。

例如在Ubuntu linux上 :

  $ sudo apt-get install ssh

  $ sudo apt-get install rsync

下载

在 Apache
Download Mirrors下载最新稳定的发布Hadoop版本

准备启动 Hadoop Cluster

解压下载的Hadoop包.
编辑文件 etc/hadoop/hadoop-env.sh 像如下一样修改配置:

  # set to the root of your Java installation

  export JAVA_HOME=/usr/java/latest

# Assuming your installation directory is /usr/local/hadoop

  export HADOOP_PREFIX=/usr/local/hadoop

执行下面命令:

  $ bin/hadoop

显示Hadoop脚本的使用文档.

Now you are ready to start your Hadoop cluster in one of the three
supported modes:

• Local
  (Standalone) Mode


• Pseudo-Distributed
  Mode


• Fully-Distributed
  Mode

Hadoop single Node cluster,码迷,mamicode.com