1.配置core-site.xml(每个节点上都要配置)
路径:
/usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
作用:
告诉所有机器master的相关信息
配置项:
name: fs.defaultFS
vale: hdfs://master的地址:端口
例如:
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.104:9000</value>
</property>
2.配置hosts文件(每个节点上都要配置)
路径:
/etc/hosts
作用:
告诉集群中每个节点彼此的名字和ip地址
配置项:
ip hostname
例如:
192.168.0.104 master
192.168.0.105 slave1
192.168.0.107 slave2
如果不配置在启动node的时候会报类似于:java.net.UnknownHostException: master: master: unknown error
3.在master上启动namenode
格式化namenode
命令:hdfs namenode -format
地址:/tmp/hadoop-root/dfs/name
启动namenode
命令:hadoop-daemon.sh start namenode
日志记录在:/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
验证:jps
4.在所有slave上启动datanode
命令:hadoop-daemon.sh start datanode
验证:jps
5.查看集群
在master上执行netstat -tnpl
tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
会发现,hadoop启动后,会监听9000端口和50070端口
9000端口是namenode和datanode通信的端口
50070端口是提供的web监控界面端口(需要关闭防火墙,否则无法访问)
web界面地址:http://192.168.0.104:50070/dfshealth.html#tab-overview
6.关闭集群
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
7.一键式启动
配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
[[email protected] hadoop]# cat slaves
slave1
slave2
这里需要关闭slave1和slave2的防火墙,否则不成功
slave1和slave2也是通过hosts里去找的
如果没有设置ssh登录,这里需要输入密码,建议设置ssh登录
start-dfs.sh也需要登录自己,如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
启动脚本:
master上执行:start-dfs.sh
8.一键式停止
master上执行:stop-dfs.sh
原文地址:https://www.cnblogs.com/413xiaol/p/9938405.html