启动和关闭Hadoop集群命令步骤

启动和关闭Hadoop集群命令步骤总结:

1. 在master上启动hadoop-daemon.sh start namenode.
2. 在slave上启动hadoop-daemon.sh start datanode.
3. 用jps指令观察执行结果.
4. 用hdfs dfsadmin -report观察集群配置情况.
5. 通过http://npfdev1:50070界面观察集群运行情况.(如果遇到问题 看 https://www.cnblogs.com/zlslch/p/6604189.html )
6. 用hadoop-daemon.sh stop ...手工关闭集群.

  1. 关闭NodeManager 、ResourceManager和HistoryManager

[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[[email protected] hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

  1. 启动NodeManager 、ResourceManager和HistoryManager

[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[[email protected] hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

  1. 删除HDFS上已经存在的输出文件

[[email protected] hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output

原文地址:https://www.cnblogs.com/wen-/p/12113049.html

时间: 2024-10-03 14:04:06

启动和关闭Hadoop集群命令步骤的相关文章

Hadoop集群搭建步骤

实验性操作是在虚拟机里进行的,除了搭建hadoop本身的操作之外,遇到的其它问题总结如下: 1. 虚拟机挂载windows磁盘: 添加硬件,要保证该硬件此时没有被读写访问等,因为挂载后,该磁盘在宿主机上就不能用了.启动虚拟机linux,执行 fdisk –l 查看windows磁盘的分区,如/dev/sdb2,然后执行挂载命令: mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目录下访问磁盘上的内容了 2. hadoop启动时如果报错,提示JAVA_HOME is

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行 Ha

基于Docker快速搭建多节点Hadoop集群--已验证

Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,并且支持快速搭建任意节点数的Hadoop集群. 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说.他们还没开

hadoop集群配置

一.首先我们需要一个 hadoop-2.8.5.tar.gz 这里就省略了什么解压,指定路径什么的步骤啦 1.配置hadoop环境变量 vim /etc/profile export HADOOP_HOME=/usr/java/hadoop-2.8.5 (按自己的路径来) export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 记得 source   /etc/profile 2.修改hadoop的配置文件 cd /usr/java/hadoop

hadoop集群之HDFS和YARN启动和停止命令

假如我们只有3台linux虚拟机,主机名分别为hadoop01.hadoop02和hadoop03,在这3台机器上,hadoop集群的部署情况如下: hadoop01:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager: hadoop02:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager: hadoo

Hadoop集群搭建详细步骤(2.6.0)

本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决.默认使用root账号操作,实际中建议使用专用的hadoop用户账号. 1. 环境 机器: 物理机3台,ip分别为192.168.1.130.192.168.1.132.192.168.1.134 操作系统: CentOS 6.6 Java: 1.7 Hadoop: 2.6.0 请确保JDK已安装,使用java -version确认. hosts配置 配置主机hosts文件: vim /etc/hosts 192.168

Hadoop集群启动之后,datanode节点未正常启动的问题

Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示 master的进程: 两个slave的节点进程 发现salve节点上竟然没有datanode进程. 查看了日志,发现有这样一句话: 这句话的意思是:datanode上的data目录权限是765,而期望权限是755,所以使用chmod 755 data命令,将目录权限改为755. 再次重启hadoop集群,发现datanode节点已经正常启动.

Hadoop集群启动、初体验

1. 启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群.注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的.hdfs namenode–format或者hadoop namenode –format1.1. 单节点逐个启动在主节点上使用以下命令启动HDFS NameNode:hadoop-daemon.sh start namenode在每个从节点上使用以下命令启动HDFS DataNode:hadoop-dae

hadoop集群中namenode没有启动

最近,我在学习搭建hadoop集群,可是搭建完成后当使用start-all.sh启动hadoop的时候,会发现用jps测试的时候一切均显示正常,但通过Hadoop指令向hdfs上传输文件的时候,会报错表示datanode没有正常启动, 在网上找了一些博客讲述是可能防火墙没关,还有就是删除hadoop目录下的tmp文件夹和logs文件夹,可是都不凑效,我经过反复查询发现是因为datanode的clusterID不匹配! 打开hdfs-site.xml里配置的datanode和namenode对应的