搭建Hadoop集群Tips（1）

1 安装版本

搭建Hadoop2.4.0版本，基于Ubuntu12.04 x86_64、jdk1.7.0_79

2 参考文献：

1）可靠安装文档http://www.aboutyun.com/thread-7684-1-1.html

2）官方安装文档http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.html#Installation

3 主要思路：

完全分布式集群搭建思路基本是各主机建立SSH无密码通信，安装JDK，安装Hadoop，测试Hadoop等过程。

首先在基于Linux的系统里用户权限是比较容易出错的地方，具体设置可以参考aboutyun论坛相关文献。

本文所有操作均在root用户下完成，实际环境建议在其他用户权限下配置。

4 SSH无密码互连：

SSH无密码登录的原理是将公钥共享，互持公钥的主机之间就可以通过ssh协议无密码登录。

在生成公钥之前需要配置/etc/hostname文件以及/etc/hosts文件

这里搭建的集群为：

分别表示IP地址、用户/密码、主机名称

通过配置/etc/hostname文件修改主机名称

[email protected]:/# vi /etc/hostname

通过配置/etc/hosts文件添加IP地址到主机名称的映射

[email protected]:/# vi /etc/hosts

在各个slave节点完成以上两个文件的修改

常用Linux命令总结

设置SSh具体步骤如下：

第一步：产生密钥

[email protected]:/# ssh-keygen -t rsa

一直按Enter键直到结束

第二步：进入SSH目录，写入公钥

[email protected]:/# cd ~/.ssh/
[email protected]:~/.ssh# cat id_rsa.pub >>authorized_keys

此时可以无密码登录localhost

[email protected]:~/.ssh# ssh localhost

第三步：设置远程无密码登录

通过scp命令将公钥发送到slave1

[email protected]:~/.ssh# cat id_rsa.pub >> master_key
[email protected]:~/.ssh# scp master_key [email protected]:/root/.ssh/

写入authorized_keys

[email protected]:~/.ssh# cat master_key >> authorized_keys

【注意】：每两台机器完成公钥的写入操作

5 主要思路安装JDK

详细安装步骤参考How to Install Oracle Java JDK on Ubuntu Linux

在Ubuntu中安装已编译的软件，一般步骤是解压安装包，修改配置文件，设置PATH环境变量

解压JDK

[email protected]:/usr/local# tar -zxvf jdk-7u79-linux-x64.tar.gz

设置PATH

[email protected]:/usr/local# vi /etc/profile

在文件底部添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

通过source命令检查语法

[email protected]:/usr/local# source /etc/profile

如果需要在控制台编译源文件，需要修改CLASSPATH变量，这里不做介绍了