前言:
Hadoop集群的配置即全然分布式Hadoop配置。
笔者的环境:
Linux: CentOS 6.6(Final) x64
JDK: java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
SSH: OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
Hadoop: hadoop-1.2.1
步骤:
注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经能够安装伪分布式的Hadoop了。假设你的系统还不能安装伪分布式Hadoop,请參考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完毕配置。
1.首先在三台主机上创建同样的用户
2.在三台主机上分别设置/etc/hosts和/etc/hostname
$ vim /etc/hosts
$ vim /etc/hostname
3.在这三台主机上安装OpenSSH,并配置SSH能够免password登录。
关于在单机上进行免password登录的部分,我在上一篇博客中有具体说明。假设你的配置出了问题以致无法免password登录。上一篇博客中有具体的做法,这里不再赘述。
将master中的authorized_keys复制给两台slave,做法例如以下:
$ scp authorized_keys slave1:~/.ssh/
$ scp authorized_keys slave2:~/.ssh/
4.配置三台主机的Hadoop文件。
$ vim core-site.xml
$ vim hdfs-site.xml
$ vim mapred-site.xml
$ vim masters
$ vim slaves
至此,Hadoop的配置已基本完毕,你能够通过
5.启动Hadoop
bin/hadoop namenode -format
bin/start-all.sh
6.验证
你能够通过下面命令或是通过訪问http://master:50030和http://master:50070查看集群状态
hadoop dfsadmin -report