hadoop启动脚本分析及常见命令

进程
------------------
[hdfs]start-dfs.sh
NameNode NN
DataNode DN
SecondaryNamenode 2NN

[yarn]start-yarn.sh
ResourceMananger RM
NodeManager NM

脚本分析
-------------------
sbin/start-all.sh
--------------
  libexec/hadoop-config.sh
  start-dfs.sh
  start-yarn.sh

  sbin/start-dfs.sh
--------------
  libexec/hadoop-config.sh
  sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
  sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
  sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
  sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //

sbin/start-yarn.sh
--------------
  libexec/yarn-config.sh
  bin/yarn-daemon.sh start resourcemanager
  bin/yarn-daemons.sh start nodemanager

sbin/hadoop-daemons.sh
----------------------
  libexec/hadoop-config.sh

  slaves

  hadoop-daemon.sh

sbin/hadoop-daemon.sh
-----------------------
  libexec/hadoop-config.sh
  bin/hdfs ....

sbin/yarn-daemon.sh
-----------------------
  libexec/yarn-config.sh
  bin/yarn

bin/hadoop
------------------------
  hadoop verion //版本
  hadoop fs //文件系统客户端.
  hadoop jar //
  hadoop classpath
  hadoop checknative

bin/hdfs
------------------------
dfs // === hadoop fs
classpath
namenode -format
secondarynamenode
namenode
journalnode
zkfc
datanode
dfsadmin
haadmin
fsck
balancer
jmxget
mover

oiv
oiv_legacy
oev
fetchdt
getconf
groups
snapshotDiff

lsSnapshottableDir

portmap
nfs3
cacheadmin
crypto
storagepolicies
version

hdfs常用命令
--------------------
$>hdfs dfs -mkdir /user/centos/hadoop
$>hdfs dfs -ls -r /user/centos/hadoop
$>hdfs dfs -lsr /user/centos/hadoop
$>hdfs dfs -put index.html /user/centos/hadoop
$>hdfs dfs -get /user/centos/hadoop/index.html a.html
$>hdfs dfs -rm -r -f /user/centos/hadoop

原文地址:https://www.cnblogs.com/guxiaobei/p/8392949.html

时间: 2024-11-13 15:33:50

hadoop启动脚本分析及常见命令的相关文章

Hadoop启动脚本分析

1 基本概述 Hadoop的命令位于${HADOOP_HOME}/bin.${HADOOP_HOME}/sbin.${HADOOP_HOME}/libexec下面.包含了Linux的shell脚本和windows的批处理文件.本文主要解析linux下的shell脚本. 2 脚本详解 2.1 start-all.sh 要启动Hadoop的各节点和其他服务,这是一个绕不开的启动脚本,该脚本位于${HADOOP_HOME}/sbin下.不过在Hadoop的2.x版本中,Hadoop官方已经宣布被弃用了

Android ROM开发(二)——ROM架构以及Updater-Script脚本分析,常见的Status错误解决的方法

Android ROM开发(二)--ROM架构以及Updater-Script脚本分析,常见的Status错误解决的方法 怪自己二了.写好的不小心弄没了,如今仅仅好又一次写一些了.上篇简单的配置了一下环境.这里呢,就来讲一下相关的仅仅是点 我们先下载一个ROM.随便下,原理都是差点儿相同的,这里我就下载一个红米Note的MIUI稳定版 1.ROM结构 ROM依据厂商的定制可能有所不同,可是大体是不变的 data 内置一些软件 META-INF 脚本文件 update-binary 二进制文件 u

iptables启动脚本分析

#!/bin/sh # # iptables Start iptables firewall # # chkconfig: 2345 08 92 # description: Starts, stops and saves iptables firewall # # config: /etc/sysconfig/iptables # config: /etc/sysconfig/iptables-config # ### BEGIN INIT INFO # Provides: iptables

hadoop启动脚本解读

本文以start-dfs.sh为例向下延展解释各脚本的作用和相互关系,对于start-yarn.sh同理可证.下图解释了各个脚本的作用: 注意:slaves.sh在通过SSH推送命令时,会首先读取$HADOOP_SLAVE_NAMES这个数组中的机器列表作为推送目标,当这个数组为空时才使用slaves文件中给出的机器列表.实际上slaves.sh这个脚本的命名很不好,它会给人一种误导,这个脚本实际上是一个向目标机器列表推送命令的util脚本,而不是只向slave节点通信的!这一点在start-d

lldpd启动脚本分析

#!/bin/sh /etc/rc.common # Copyright (C) 2008-2012 OpenWrt.org #启动顺序 START=90 #创建PID文件 SERVICE_USE_PID=1 find_release_info() {  [ -s /etc/openwrt_release ] && . /etc/openwrt_release [ -z "$DISTRIB_DESCRIPTION" ] && [ -s /etc/open

salt-master启动脚本分析

Salt-master

Spark学习之路 (十五)SparkCore的源码解读(一)启动脚本[转]

启动脚本分析 独立部署模式下,主要由master和slaves组成,master可以利用zk实现高可用性,其driver,work,app等信息可以持久化到zk上:slaves由一台至多台主机构成.Driver通过向Master申请资源获取运行环境. 启动master和slaves主要是执行/usr/dahua/spark/sbin目录下的start-master.sh和start-slaves.sh,或者执行 start-all.sh,其中star-all.sh本质上就是调用start-mas

Hadoop的shell脚本分析

你会发现hadoop-daemon.sh用于启动单独的本机节点 而hadoop-daemons.sh 会批量的ssh到别的机器启动 前记: 这些天一直学习hadoop,学习中也遇到了许多的问题,主要是对hadoop的shell脚本和hadoop的源码概念不够清楚,所以我就对hadoop的bin目录下的shell脚本进行了研究,有一些成果想记录下来,也希望大家前来批评指正. 分析原因: 很多hadoop的初学者对hadoop的脚本不是很清楚,不知道为什么可以在命令行中启动hadoop,也不知道为什

第5章3节《MonkeyRunner源码剖析》Monkey原理分析-启动运行: 启动脚本(原创)

天地会珠海分舵注:本来这一系列是准备出一本书的,详情请见早前博文"寻求合作伙伴编写<深入理解 MonkeyRunner>书籍".但因为诸多原因,没有如愿.所以这里把草稿分享出来,所以错误在所难免.有需要的就参考下吧,转发的话还请保留每篇文章结尾的出处等信息. 本节我们先看下Monkey是怎么启动起来的.在今后分析到MonkeyRunner的原理的时候我们会看到客户端是通过ADB往Android目标测试机器发送一个"monkey -port 12345"的