本次Hadoop集群安装一共使用四个节点,各节点IP如下:
Master |
172.22.120.191 |
Slave1 |
172.22.120.192 |
Slave2 |
172.22.120.193 |
Slave3 |
172.22.120.193 |
系统版本CentOS 6.2L
JDK版本:1.7
Hadoop版本:1.1.2
完成四个节点系统安装后,开始安装hadoop:
1. 配置hosts文件
2. 配置SSH免密码登录
3. 安装JDK
4. 下载并解压hadoop
5. 配置namenode,修改site文件
6. 配置hadoop-env.sh文件
7. 配置masters和Slaves文件
8. 向各节点复制hadoop
9. 格式化namenode
10. 启动hadoop
11. Jps检测是否启动成功
12. 通过网站查看集群情况
1 配置hosts文件
Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙
CentOS命令为:
chkconfig iptables off
service iptables stop
为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP
2 配置SSH免密码登录
因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。
返回hadoop账号,创建hadoop用户的密钥:
生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:
输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。
最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。
如果成功,则可以直接使用 ssh slave 连接其他节点。
3 安装JDK
先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK
查看openJDK依赖包,依次卸载
将jdk文件复制到master节点 /usr/local 目录下并解压。
修改 /etc/profile 文件,添加Jdk目录
输入 source /etc/profile 使配置生效
最后查看java版本
尽量保持各节点jdk版本和路径一直,方便后续安装
4 下载并解压hadoop
修改 /etc/profile文件,添加hadoop路径
最后使 profile文件生效,输入 source /etc/profile
5 配置namenode,修改site文件
6 配置hadoop-env.sh文件
7 配置masters和Slaves文件
8 向各节点复制hadoop
对其他节点执行相同操作,将Hadoop文件发送到节点
9 格式化namenode
在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致
10 启动hadoop
11 Jps检测是否启动成功
12 通过网站查看集群情况