配置好Hadoop、HDFS、YARN、Zookeeper集群后,需要按照顺序启动。
前期准备
- 配置好Hadoop、HDFS、YARN、Zookeeper集群
- 先stop掉所有的hadoop服务
使用jps
命令查看进程,确保只有Jps
进程存在,没有其他的Hadoop服务进程。若存在Hadoop服务进程,使用命令kill -9 进程id
来关闭进程。
1. 启动zookeeper集群(分别在master、slave1、slave2上启动zk)
- 在
~/zookeeper-3.4.5/bin/
下执行./zkServer.sh start
- 验证:分别在节点上执行
./zkServer.sh status
可以查看节点状态,一个leader,两个follower。
2. 启动journalnode(分别在在master、slave1、slave2上执行)
- 使用命令
hadoop-daemon.sh start journalnode
- 验证:运行jps命令检验,master、slave1、slave2上多了JournalNode进程
3. 格式化HDFS(在master上执行即可)
- 执行命令
hdfs namenode -format
- 验证:格式化后会在根据
core-site.xml
中的hadoop.tmp.dir
配置生成个文件,这里我配置的是/home/hadoop/app/hadoop-2.4.1/data
,然后将/usr/local/hadoop-2.4.0/data
拷贝到slave1的/home/hadoop/app/hadoop-2.4.1/
下scp -r data/ slave1:/home/hadoop/app/hadoop-2.4.1
4. 格式化ZK(在master上执行即可)
hdfs zkfc -formatZK
5. 启动HDFS(在master上执行即可)
start-dfs.sh
注:namenode
进程如果启动失败,手动执行命令hadoop-daemon.sh start namenode
启动namenode
进程。
6. 启动YARN(在master上操作)
start-yarn.sh
至此,Hadoop2.4.1配置完毕,可以统计浏览器访问
http://192.168.1.201:50070
NameNode ‘192.168.1.201‘ (tandby)
http://192.168.1.202:50070
NameNode ‘192.168.1.202:9000‘ (actives)
原文地址:https://www.cnblogs.com/liminghuang/p/9074409.html
时间: 2024-10-05 05:31:21