一.以之前搭建的为云计算平台为主节点
角色分配
Master:NameNode/DataNode ResourceManager/NodeManager
Slave1:DataNode NodeManager
Slave2:DataNode NodeManager
1. 修改hostname
2. 修改hosts，添加每个节点的ip地址以及对应的hostname
3. ping测试
二. ssh免密码登录
[[email protected] .ssh]# ssh-keygen -t rsa ##生成公钥 [[email protected] .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub master #分发公钥给master slave1 slave2 [[email protected] .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave1 [[email protected] .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave2
分发
免密登录测试
ssh slave1
如果其他两台主机需要免密登录需要重复以上步骤，生成公钥然后分发给其他两台主机，实现免密码登录
三. 解压jdk和hadoop（以下操作均是在master节点操作，详细参考伪云计算平台搭建）
[[email protected] opt]# tar xvf hadoop-2.7.2.tar.gz [[email protected] opt]# tar xvf jdk-8u172-linux-x64.tar.gz [[email protected] opt]# mkdir Hadoop [[email protected] opt]# mkdir Java [[email protected] opt]# mv jdk1.8.0_172/ Java/ [[email protected] opt]# mv hadoop-2.7.2 Hadoop/
配置环境变量
vi ~/.bashrc
添加
export JAVA_HOME=/opt/Java/jdk1.8.0_172 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin
[[email protected] opt]# source ~/.bashrc #使得配置生效
2.修改配置
[[email protected] hadoop]# cd /opt/Hadoop/hadoop-2.7.2/etc/hadoop
添加变量
[[email protected] hadoop]# vi hadoop-env.sh 添加这一条 export JAVA_HOME=/opt/Java/jdk1.8.0_172
修改配置
[[email protected] hadoop]# vi slaves
添加内容为
master slave1 slave2
3.分发安装包到slave1和slave2节点
[[email protected] ~]# scp ~/.bashrc [email protected]:~/ [[email protected] ~]# scp ~/.bashrc [email protected]:~/ [[email protected] ~]# scp -r /opt [email protected]:/ [[email protected] ~]# scp -r /opt [email protected]:/
分发需要一段时间，耐心等待就好
使得配置生效（slave1和slave2节点）
[[email protected] hadoop]# source ~/.bashrc [[email protected] hadoop]# echo $JAVA_HOME /opt/Java/jdk1.8.0_172
格式化
对slave1和slave2节点格式化
[[email protected] hadoop]# cd /opt/Hadoop/hadoop-2.7.2/bin [[email protected] bin]# ./hadoop namenode -format
slave1节点
启动服务，在master中启动
[[email protected] hadoop]# cd /opt/Hadoop/hadoop-2.7.2/sbin [[email protected] sbin]#./start-all.sh
至此，完全云计算平台搭建完成
浏览器访问
http://192.168.2.100:50070/
就可以看到Hadoop
原文地址：https://www.cnblogs.com/mke2fs/p/12401234.html
时间： 2024-12-18 14:36:17