Hadoop的shell脚本分析

你会发现hadoop-daemon.sh用于启动单独的本机节点

而hadoop-daemons.sh 会批量的ssh到别的机器启动

前记： 
这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。

分析原因： 
很多hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行中运行hadoop命令时会出现java的错误。等等这些问题，究其原因我认为是大家对shell脚本不太了解。我曾学过一些shell编程的知识，可是对hadoop的shell程序细节还不是全部了解，我想从宏观上分析一下hadoop脚本的运行流程。

脚本分析： 
start-all.sh：

Java代码  

  1. # Start all hadoop daemons.  Run this on master node.
  2. bin=`dirname "$0"`
  3. bin=`cd "$bin"; pwd`
  4. . "$bin"/hadoop-config.sh
  5. # start dfs daemons
  6. "$bin"/start-dfs.sh --config $HADOOP_CONF_DIR
  7. # start mapred daemons
  8. "$bin"/start-mapred.sh --config $HADOOP_CONF_DIR

分析： 
正如注释的一样，这个脚本是在master上运行的，即我们运行namenode和jobtracker的主机。它首先启动了hadoop-config.sh脚本，查看hadoop-config.sh，我们可以知道它的作用是对一些变量进行赋值，这些变量有HADOOP_HOME（hadoop的安装目录），HADOOP_CONF_DIR（hadoop的配置文件目录），HADOOP_SLAVES（--hosts指定的文件的地址），为了让大家更好地理解，下面贴出hadoop-config.sh的部分代码

Java代码  

  1. #check to see it is specified whether to use the slaves or the
  2. # masters file
  3. if [ $# -gt 1 ]
  4. then
  5. if [ "--hosts" = "$1" ]
  6. then
  7. shift
  8. slavesfile=$1
  9. shift
  10. export HADOOP_SLAVES="${HADOOP_CONF_DIR}/$slavesfile"
  11. fi

前面的注释意思是：判断是使用slaves文件，还是master文件，这里为什么要判断呢？那我们带着疑问接着分析下去吧。然后start-all.sh根据hadoop/conf目录下的配置信息启动了start-dfs.sh和start-mapred.sh两个脚本，下面我们去看看这两个脚本又做了些什么吧。

start-dfs.sh:

Java代码  

  1. # Start hadoop dfs daemons.
  2. # Optinally upgrade or rollback dfs state.
  3. # Run this on master node.
  4. usage="Usage: start-dfs.sh [-upgrade|-rollback]"
  5. bin=`dirname "$0"`
  6. bin=`cd "$bin"; pwd`
  7. . "$bin"/hadoop-config.sh
  8. # get arguments
  9. if [ $# -ge 1 ]; then
  10. nameStartOpt=$1
  11. shift
  12. case $nameStartOpt in
  13. (-upgrade)
  14. ;;
  15. (-rollback)
  16. dataStartOpt=$nameStartOpt
  17. ;;
  18. (*)
  19. echo $usage
  20. exit 1
  21. ;;
  22. esac
  23. fi
  24. # start dfs daemons
  25. # start namenode after datanodes, to minimize time namenode is up w/o data
  26. # note: datanodes will log connection errors until namenode starts
  27. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt
  28. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt
  29. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters start secondarynamenode

分析： 
根据前面的注释信息，我们发现这个脚本用于启动集群的DFS，我们知道DFS由namenode,datanode,secondarynamenode组成，所以在脚本的最后它又启动了3个进程，分别根据配置文件启动了namenode,datanode,secondarynamenode。其实这个时候你应该已经知道start-mapred.sh干了什么事了。

start-mapred.sh：

Java代码  

  1. # Start hadoop map reduce daemons.  Run this on master node.
  2. bin=`dirname "$0"`
  3. bin=`cd "$bin"; pwd`
  4. . "$bin"/hadoop-config.sh
  5. # start mapred daemons
  6. # start jobtracker first to minimize connection errors at startup
  7. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start jobtracker
  8. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start tasktracker

分析： 
正如你所想，它的作用用于启动mapreduce，所以它的最后同样根据配置文件启动了jobtracker和tasktracker，呵呵，现在发现其实脚本干的事没有想象的那么难了吧。如果你对shell代码看得仔细一点，你会发现hadoop-daemon.sh脚本用于启动namenode和jobtracker,而hadoop-daemons.sh脚本用于启动datanode,secondarynamenode和tasktracker。也就是说hadoop-daemon.sh用于启动master上的进程，而hadoop-daemons.sh用于启动slaves和secondarynamenode主机上的进程（这里考虑的是slaves,secondarynamenode和master配置在了不同主机上的情况）。如果我们分析一下它们俩的代码，你会发现其实它们是有联系的。

hadoop-daemons.sh:

Java代码  

  1. # Run a Hadoop command on all slave hosts.
  2. usage="Usage: hadoop-daemons.sh [--config confdir] [--hosts hostlistfile] [start|stop] command args..."
  3. # if no args specified, show usage
  4. if [ $# -le 1 ]; then
  5. echo $usage
  6. exit 1
  7. fi
  8. bin=`dirname "$0"`
  9. bin=`cd "$bin"; pwd`
  10. . $bin/hadoop-config.sh
  11. exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_HOME" \; "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "[email protected]"

分析： 
看到程序倒数第二行开头的那个exec关键字了吗？它执行了slaves.sh和hadoop-daemon.sh两个脚本，并且把hadoop-daemons.sh命令的参数也传入了hadoop-daemon.sh。呵呵，现在你知道这两个脚本的关系了吧，其实hadoop-daemons.sh中调用了hadoop-daemon.sh，但在调用之前它先执行了slaves.sh脚本，现在你想看看slaves.sh干了啥吗？呵呵，我们也来分析一下吧。

slaves.sh:

Java代码  

  1. if [ "$HOSTLIST" = "" ]; then
  2. if [ "$HADOOP_SLAVES" = "" ]; then
  3. export HOSTLIST="${HADOOP_CONF_DIR}/slaves"
  4. else
  5. export HOSTLIST="${HADOOP_SLAVES}"
  6. fi
  7. fi
  8. for slave in `cat "$HOSTLIST"|sed  "s/#.*$//;/^$/d"`; do
  9. ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \
  10. 2>&1 | sed "s/^/$slave: /" &
  11. if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
  12. sleep $HADOOP_SLAVE_SLEEP
  13. fi
  14. done

分析： 
由于篇幅问题，以上只贴出了slaves.sh的关键代码，对于启动slaves来说，代码中的HOSTLIST变量是slaves配置文件的地址。再往后看，你会看到非常醒目的一个关键字：ssh,其实这个时候你应该明白了，slave.sh脚本的作用就是通过ssh远程登录到每个在slaves中配置的主机上。所以hadoop-daemons.sh的功能就是先远程登录slaves，在slaves上运行hadoop-daemon.sh脚本。如果你思考的再多一点，那又是怎么启动secondarynamenode的呢？难道也是先远程登录到slaves中配置的主机上吗？答案一定是否定的。而是先远程登录到master中配置的主机上，然后再启动hadoop-daemon.sh脚本，如果你仔细一点，可以看到start-dfs.sh脚本的最后一行命令是启动secondarynamenode,命令传入了“--hosts master”这就指定了按照master中配置的主机来启动secondarynamenode。Hadoop-config.sh负责对“--hosts master”进行解析。

下面你是不是对hadoop-daemon.sh脚本又产生了兴趣了呢？那我们一起来分析吧。

hadoop-daemon.sh:

Java代码  

  1. usage="Usage: hadoop-daemon.sh [--config <conf-dir>] [--hosts hostlistfile] (start|stop) <hadoop-command> <args...>"
  2. case $startStop in
  3. (start)
  4. mkdir -p "$HADOOP_PID_DIR"
  5. if [ -f $pid ]; then
  6. if kill -0 `cat $pid` > /dev/null 2>&1; then
  7. echo $command running as process `cat $pid`.  Stop it first.
  8. exit 1
  9. fi
  10. fi
  11. if [ "$HADOOP_MASTER" != "" ]; then
  12. echo rsync from $HADOOP_MASTER
  13. rsync -a -e ssh --delete --exclude=.svn --exclude=‘logs/*‘ --exclude=‘contrib/hod/logs/*‘ $HADOOP_MASTER/ "$HADOOP_HOME"
  14. fi
  15. hadoop_rotate_log $log
  16. echo starting $command, logging to $log
  17. cd "$HADOOP_HOME"
  18. nohup nice -n $HADOOP_NICENESS "$HADOOP_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "[email protected]" > "$log" 2>&1 < /dev/null &
  19. echo $! > $pid
  20. sleep 1; head "$log"
  21. ;;
  22. (stop)
  23. if [ -f $pid ]; then
  24. if kill -0 `cat $pid` > /dev/null 2>&1; then
  25. echo stopping $command
  26. kill `cat $pid`
  27. else
  28. echo no $command to stop
  29. fi
  30. else
  31. echo no $command to stop
  32. fi
  33. ;;
  34. (*)
  35. echo $usage
  36. exit 1
  37. ;;
  38. esac

分析： 
以上是hadoop-daemon.sh的关键代码，用于判断执行该脚本时是启动（start）一个进程，还是停止(stop)一个进程。执行该脚本的方式可以查看代码上方的usage变量值(注：[]括起来的表示可有可无，|表示或者，<>括起来表示参数)。这里的<command>参数可以是start或者stop。<command>后面的参数你知道可以是哪些吗？呵呵，其实可以是namenode,jobtracker,secondarynamenode,datanode,tasktracker,如果你在master上自己用hadoop-daemon.sh启动datanode和tasktracker就会有问题，因为hadoop-daemon.sh没有远程登录到slaves主机上哦。执行的结果会在master上启动一个datanode或tasktracker进程，而不是按照slaves配置文件在每个slave上启动datanode和tasktracker哦。

分析了以上这些脚本之后，我想还有一些脚本，比如说：start-balancer.sh,start-jobhistoryserver.sh就不需要分析了吧。不过看了这些脚本之后，我们发现脚本都是一个执行另一个脚本，到最后都是执行了hadoop-daemon.sh。以启动（start）为例，那hadoop-daemon.sh脚本又是怎么来启动那么多的进程的呢？我们又要回到hadoop-daemon.sh的代码了，之前我们看到hadoop-daemon.sh的一段关键代码是用于判断“启动”还是“停止”进程的，在shell中停止一个进程很方便，用kill命令就可以了，但是该脚本是怎么启动进程的呢？我们继续分析脚本中(start)后面的代码，如果你仔细一点，可以发现其实有这样一段代码：

Java代码  

  1. "$HADOOP_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "[email protected]" > "$log" 2>&1 < /dev/null &

分析： 
现在你明白我想要说明什么问题了吗，呵呵，其实hadoop-daemon.sh启动进程也是执行了其它的脚本，它就是hadoop/bin/hadoop。其实说到这里hadoop脚本的秘密就快浮出水面了。你还记得博客开头我们提出的问题吗？为什么有时在命令行执行hadoop命令时会出现java的错误信息呢，秘密就在这个hadoop/bin/hadoop脚本里。下面我们来看一下hadoop的核心脚本吧

hadoop:

Java代码  

  1. 片段一：
  2. cygwin=false
  3. case "`uname`" in
  4. CYGWIN*) cygwin=true;;
  5. esac
  6. 片段二：
  7. # for developers, add Hadoop classes to CLASSPATH
  8. if [ -d "$HADOOP_HOME/build/classes" ]; then
  9. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/classes
  10. fi
  11. if [ -d "$HADOOP_HOME/build/webapps" ]; then
  12. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build
  13. fi
  14. if [ -d "$HADOOP_HOME/build/test/classes" ]; then
  15. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/test/classes
  16. fi
  17. if [ -d "$HADOOP_HOME/build/tools" ]; then
  18. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/tools
  19. fi
  20. 片段三：
  21. elif [ "$COMMAND" = "namenode" ] ; then
  22. CLASS=‘org.apache.hadoop.hdfs.server.namenode.NameNode‘
  23. HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
  24. elif [ "$COMMAND" = "secondarynamenode" ] ; then
  25. CLASS=‘org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode‘
  26. HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
  27. elif [ "$COMMAND" = "datanode" ] ; then
  28. CLASS=‘org.apache.hadoop.hdfs.server.datanode.DataNode‘
  29. 片段四：
  30. exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "[email protected]"

分析： 
由于篇幅原因，我只贴出了hadoop脚本具有代表价值的四段代码。下面我们一个个来分析吧

片段一：
我们知道在window操作系统上可以通过安装cygwin软件来模拟linux系统环境，这段代码就是用于判断我们的hadoop命令是运行在linux环境上，还是模拟的linux环境上，因为两种情况下文件的路径不相同，hadoop脚本为了区分这两种情况，做出了判断。

片段二：
这些操作是将一些目录的路径自动地加到环境变量（CLASSPATH）中。

片段三：
其实这个片段才是精华，它根据COMMAND的值给CLASS指定一个对应的java类，

片段四：
呵呵，根据CLASS的值，脚本执行了该java类哦，如果你看了hadoop的源码，你会发现，这些类里都有main方法。

小结： 
分析到这里，hadoop的shell脚本就全部分析完毕了。如果有不同想法的，希望可以一起交流。

前记： 
这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。

分析原因： 
很多hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行中运行hadoop命令时会出现java的错误。等等这些问题，究其原因我认为是大家对shell脚本不太了解。我曾学过一些shell编程的知识，可是对hadoop的shell程序细节还不是全部了解，我想从宏观上分析一下hadoop脚本的运行流程。

脚本分析： 
start-all.sh：

Java代码  

  1. # Start all hadoop daemons.  Run this on master node.
  2. bin=`dirname "$0"`
  3. bin=`cd "$bin"; pwd`
  4. . "$bin"/hadoop-config.sh
  5. # start dfs daemons
  6. "$bin"/start-dfs.sh --config $HADOOP_CONF_DIR
  7. # start mapred daemons
  8. "$bin"/start-mapred.sh --config $HADOOP_CONF_DIR

分析： 
正如注释的一样，这个脚本是在master上运行的，即我们运行namenode和jobtracker的主机。它首先启动了hadoop-config.sh脚本，查看hadoop-config.sh，我们可以知道它的作用是对一些变量进行赋值，这些变量有HADOOP_HOME（hadoop的安装目录），HADOOP_CONF_DIR（hadoop的配置文件目录），HADOOP_SLAVES（--hosts指定的文件的地址），为了让大家更好地理解，下面贴出hadoop-config.sh的部分代码

Java代码  

  1. #check to see it is specified whether to use the slaves or the
  2. # masters file
  3. if [ $# -gt 1 ]
  4. then
  5. if [ "--hosts" = "$1" ]
  6. then
  7. shift
  8. slavesfile=$1
  9. shift
  10. export HADOOP_SLAVES="${HADOOP_CONF_DIR}/$slavesfile"
  11. fi

前面的注释意思是：判断是使用slaves文件，还是master文件，这里为什么要判断呢？那我们带着疑问接着分析下去吧。然后start-all.sh根据hadoop/conf目录下的配置信息启动了start-dfs.sh和start-mapred.sh两个脚本，下面我们去看看这两个脚本又做了些什么吧。

start-dfs.sh:

Java代码  

  1. # Start hadoop dfs daemons.
  2. # Optinally upgrade or rollback dfs state.
  3. # Run this on master node.
  4. usage="Usage: start-dfs.sh [-upgrade|-rollback]"
  5. bin=`dirname "$0"`
  6. bin=`cd "$bin"; pwd`
  7. . "$bin"/hadoop-config.sh
  8. # get arguments
  9. if [ $# -ge 1 ]; then
  10. nameStartOpt=$1
  11. shift
  12. case $nameStartOpt in
  13. (-upgrade)
  14. ;;
  15. (-rollback)
  16. dataStartOpt=$nameStartOpt
  17. ;;
  18. (*)
  19. echo $usage
  20. exit 1
  21. ;;
  22. esac
  23. fi
  24. # start dfs daemons
  25. # start namenode after datanodes, to minimize time namenode is up w/o data
  26. # note: datanodes will log connection errors until namenode starts
  27. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt
  28. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt
  29. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters start secondarynamenode

分析： 
根据前面的注释信息，我们发现这个脚本用于启动集群的DFS，我们知道DFS由namenode,datanode,secondarynamenode组成，所以在脚本的最后它又启动了3个进程，分别根据配置文件启动了namenode,datanode,secondarynamenode。其实这个时候你应该已经知道start-mapred.sh干了什么事了。

start-mapred.sh：

Java代码  

  1. # Start hadoop map reduce daemons.  Run this on master node.
  2. bin=`dirname "$0"`
  3. bin=`cd "$bin"; pwd`
  4. . "$bin"/hadoop-config.sh
  5. # start mapred daemons
  6. # start jobtracker first to minimize connection errors at startup
  7. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start jobtracker
  8. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start tasktracker

分析： 
正如你所想，它的作用用于启动mapreduce，所以它的最后同样根据配置文件启动了jobtracker和tasktracker，呵呵，现在发现其实脚本干的事没有想象的那么难了吧。如果你对shell代码看得仔细一点，你会发现hadoop-daemon.sh脚本用于启动namenode和jobtracker,而hadoop-daemons.sh脚本用于启动datanode,secondarynamenode和tasktracker。也就是说hadoop-daemon.sh用于启动master上的进程，而hadoop-daemons.sh用于启动slaves和secondarynamenode主机上的进程（这里考虑的是slaves,secondarynamenode和master配置在了不同主机上的情况）。如果我们分析一下它们俩的代码，你会发现其实它们是有联系的。

hadoop-daemons.sh:

Java代码  

  1. # Run a Hadoop command on all slave hosts.
  2. usage="Usage: hadoop-daemons.sh [--config confdir] [--hosts hostlistfile] [start|stop] command args..."
  3. # if no args specified, show usage
  4. if [ $# -le 1 ]; then
  5. echo $usage
  6. exit 1
  7. fi
  8. bin=`dirname "$0"`
  9. bin=`cd "$bin"; pwd`
  10. . $bin/hadoop-config.sh
  11. exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_HOME" \; "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "[email protected]"

分析： 
看到程序倒数第二行开头的那个exec关键字了吗？它执行了slaves.sh和hadoop-daemon.sh两个脚本，并且把hadoop-daemons.sh命令的参数也传入了hadoop-daemon.sh。呵呵，现在你知道这两个脚本的关系了吧，其实hadoop-daemons.sh中调用了hadoop-daemon.sh，但在调用之前它先执行了slaves.sh脚本，现在你想看看slaves.sh干了啥吗？呵呵，我们也来分析一下吧。

slaves.sh:

Java代码  

  1. if [ "$HOSTLIST" = "" ]; then
  2. if [ "$HADOOP_SLAVES" = "" ]; then
  3. export HOSTLIST="${HADOOP_CONF_DIR}/slaves"
  4. else
  5. export HOSTLIST="${HADOOP_SLAVES}"
  6. fi
  7. fi
  8. for slave in `cat "$HOSTLIST"|sed  "s/#.*$//;/^$/d"`; do
  9. ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \
  10. 2>&1 | sed "s/^/$slave: /" &
  11. if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
  12. sleep $HADOOP_SLAVE_SLEEP
  13. fi
  14. done

分析： 
由于篇幅问题，以上只贴出了slaves.sh的关键代码，对于启动slaves来说，代码中的HOSTLIST变量是slaves配置文件的地址。再往后看，你会看到非常醒目的一个关键字：ssh,其实这个时候你应该明白了，slave.sh脚本的作用就是通过ssh远程登录到每个在slaves中配置的主机上。所以hadoop-daemons.sh的功能就是先远程登录slaves，在slaves上运行hadoop-daemon.sh脚本。如果你思考的再多一点，那又是怎么启动secondarynamenode的呢？难道也是先远程登录到slaves中配置的主机上吗？答案一定是否定的。而是先远程登录到master中配置的主机上，然后再启动hadoop-daemon.sh脚本，如果你仔细一点，可以看到start-dfs.sh脚本的最后一行命令是启动secondarynamenode,命令传入了“--hosts master”这就指定了按照master中配置的主机来启动secondarynamenode。Hadoop-config.sh负责对“--hosts master”进行解析。

下面你是不是对hadoop-daemon.sh脚本又产生了兴趣了呢？那我们一起来分析吧。

hadoop-daemon.sh:

Java代码  

  1. usage="Usage: hadoop-daemon.sh [--config <conf-dir>] [--hosts hostlistfile] (start|stop) <hadoop-command> <args...>"
  2. case $startStop in
  3. (start)
  4. mkdir -p "$HADOOP_PID_DIR"
  5. if [ -f $pid ]; then
  6. if kill -0 `cat $pid` > /dev/null 2>&1; then
  7. echo $command running as process `cat $pid`.  Stop it first.
  8. exit 1
  9. fi
  10. fi
  11. if [ "$HADOOP_MASTER" != "" ]; then
  12. echo rsync from $HADOOP_MASTER
  13. rsync -a -e ssh --delete --exclude=.svn --exclude=‘logs/*‘ --exclude=‘contrib/hod/logs/*‘ $HADOOP_MASTER/ "$HADOOP_HOME"
  14. fi
  15. hadoop_rotate_log $log
  16. echo starting $command, logging to $log
  17. cd "$HADOOP_HOME"
  18. nohup nice -n $HADOOP_NICENESS "$HADOOP_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "[email protected]" > "$log" 2>&1 < /dev/null &
  19. echo $! > $pid
  20. sleep 1; head "$log"
  21. ;;
  22. (stop)
  23. if [ -f $pid ]; then
  24. if kill -0 `cat $pid` > /dev/null 2>&1; then
  25. echo stopping $command
  26. kill `cat $pid`
  27. else
  28. echo no $command to stop
  29. fi
  30. else
  31. echo no $command to stop
  32. fi
  33. ;;
  34. (*)
  35. echo $usage
  36. exit 1
  37. ;;
  38. esac

分析： 
以上是hadoop-daemon.sh的关键代码，用于判断执行该脚本时是启动（start）一个进程，还是停止(stop)一个进程。执行该脚本的方式可以查看代码上方的usage变量值(注：[]括起来的表示可有可无，|表示或者，<>括起来表示参数)。这里的<command>参数可以是start或者stop。<command>后面的参数你知道可以是哪些吗？呵呵，其实可以是namenode,jobtracker,secondarynamenode,datanode,tasktracker,如果你在master上自己用hadoop-daemon.sh启动datanode和tasktracker就会有问题，因为hadoop-daemon.sh没有远程登录到slaves主机上哦。执行的结果会在master上启动一个datanode或tasktracker进程，而不是按照slaves配置文件在每个slave上启动datanode和tasktracker哦。

分析了以上这些脚本之后，我想还有一些脚本，比如说：start-balancer.sh,start-jobhistoryserver.sh就不需要分析了吧。不过看了这些脚本之后，我们发现脚本都是一个执行另一个脚本，到最后都是执行了hadoop-daemon.sh。以启动（start）为例，那hadoop-daemon.sh脚本又是怎么来启动那么多的进程的呢？我们又要回到hadoop-daemon.sh的代码了，之前我们看到hadoop-daemon.sh的一段关键代码是用于判断“启动”还是“停止”进程的，在shell中停止一个进程很方便，用kill命令就可以了，但是该脚本是怎么启动进程的呢？我们继续分析脚本中(start)后面的代码，如果你仔细一点，可以发现其实有这样一段代码：

Java代码  

  1. "$HADOOP_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "[email protected]" > "$log" 2>&1 < /dev/null &

分析： 
现在你明白我想要说明什么问题了吗，呵呵，其实hadoop-daemon.sh启动进程也是执行了其它的脚本，它就是hadoop/bin/hadoop。其实说到这里hadoop脚本的秘密就快浮出水面了。你还记得博客开头我们提出的问题吗？为什么有时在命令行执行hadoop命令时会出现java的错误信息呢，秘密就在这个hadoop/bin/hadoop脚本里。下面我们来看一下hadoop的核心脚本吧

hadoop:

Java代码  

  1. 片段一：
  2. cygwin=false
  3. case "`uname`" in
  4. CYGWIN*) cygwin=true;;
  5. esac
  6. 片段二：
  7. # for developers, add Hadoop classes to CLASSPATH
  8. if [ -d "$HADOOP_HOME/build/classes" ]; then
  9. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/classes
  10. fi
  11. if [ -d "$HADOOP_HOME/build/webapps" ]; then
  12. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build
  13. fi
  14. if [ -d "$HADOOP_HOME/build/test/classes" ]; then
  15. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/test/classes
  16. fi
  17. if [ -d "$HADOOP_HOME/build/tools" ]; then
  18. CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/tools
  19. fi
  20. 片段三：
  21. elif [ "$COMMAND" = "namenode" ] ; then
  22. CLASS=‘org.apache.hadoop.hdfs.server.namenode.NameNode‘
  23. HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
  24. elif [ "$COMMAND" = "secondarynamenode" ] ; then
  25. CLASS=‘org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode‘
  26. HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
  27. elif [ "$COMMAND" = "datanode" ] ; then
  28. CLASS=‘org.apache.hadoop.hdfs.server.datanode.DataNode‘
  29. 片段四：
  30. exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "[email protected]"

分析： 
由于篇幅原因，我只贴出了hadoop脚本具有代表价值的四段代码。下面我们一个个来分析吧

片段一：
我们知道在window操作系统上可以通过安装cygwin软件来模拟linux系统环境，这段代码就是用于判断我们的hadoop命令是运行在linux环境上，还是模拟的linux环境上，因为两种情况下文件的路径不相同，hadoop脚本为了区分这两种情况，做出了判断。

片段二：
这些操作是将一些目录的路径自动地加到环境变量（CLASSPATH）中。

片段三：
其实这个片段才是精华，它根据COMMAND的值给CLASS指定一个对应的java类，

片段四：
呵呵，根据CLASS的值，脚本执行了该java类哦，如果你看了hadoop的源码，你会发现，这些类里都有main方法。

小结： 
分析到这里，hadoop的shell脚本就全部分析完毕了。如果有不同想法的，希望可以一起交流。

时间： 2024-10-05 17:04:28

Hadoop的shell脚本分析的相关文章

shell脚本分析apache日志状态码

一.首先将apache日志按天切割 vi /etc/httpd/conf/httpd.confErrorLog "|rotatelogs /var/log/httpd/%Y%m%derror_log 86400 480″CustomLog "|rotatelogs /var/log/httpd/%Y%m%daccess_log 86400 480″ combined 二.重启apache服 service httpd restart ##################apahce日志

Hadoop1.2.1 启停的Shell 脚本分析

停止shell脚本以此类推.

shell 脚本分析Nginx 日志

本脚本分析Nginx 负载均衡器的日志: #!/bin/bash if [ $# -eq 0 ]; then     echo "Error:please specify logfile."     exit 0 else     LOG=$1 fi if [ ! -f $1 ]; then     echo "Sorry,sir. I cat't find this apache log file, pls try again!"     exit 0 fi ##

wdcp的环境搭建shell脚本分析--lanmp.sh---lib/common.conf

#分析文件lanmp.sh,在其头部引入了一系列的函数文件 . lib/common.conf . lib/common.sh . lib/mysql.sh . lib/apache.sh . lib/nginx.sh . lib/php.sh . lib/na.sh . lib/libiconv.sh . lib/eaccelerator.sh . lib/zend.sh . lib/pureftp.sh . lib/pcre.sh . lib/webconf.sh . lib/service

shell脚本分析nginx日志

第一版,比较粗糙,仅限于能用 正在写入的文件不能用tar进行压缩 --------压缩日志---------------------- 94 access.log 95 tar: access.log: file changed as we read it 96 #### 压缩日志失败 #### #!/bin/sh #分析nginx日志 DATE=`date '+%Y%m%d-%H%M'` ARCHIVE=/usr/log_bak/nginx_$DATE.tar.gz MESSAGE=/usr/

wdcp的环境搭建shell脚本分析--lanmp.sh

#lanmp环境配置的主要文件 . lib/common.conf . lib/common.sh . lib/mysql.sh . lib/apache.sh . lib/nginx.sh . lib/php.sh . lib/na.sh . lib/libiconv.sh . lib/eaccelerator.sh . lib/zend.sh . lib/pureftp.sh . lib/pcre.sh . lib/webconf.sh . lib/service.sh #以上都是引用函数文

shell脚本分析mysql慢查询日志（slow log）

使用percona公司的pt-query-digest分析慢查询日志,分析.统计的结果的比较清晰 #!/bin/sh slowlog_path=/root/slow_query_log everyslow=/tmp/everydayslow ##需要下载pt-query-digest pt_digest=/root/pt-query-digest start_string=$(grep `date --date="0 days ago" +%y%m%d` ${slowlog_path}

Hadoop2.6.0的shell脚本分析

bin/hadoop bin/hdfs sbin/start-all.sh sbin/start-dfs.sh sbin/start-yarn.sh sbin/hadoop-daemon.sh sbin/hadoop-daemons.sh

wdcp的环境搭建shell脚本分析--lanmp.sh---lib/common.sh

#common.sh,里面主要是一些函数 #执行编译后的清理工作 function make_clean {     #$RE_INS 根据变量的值,来判断是否执行清理工作     if [ $RE_INS == 1 ]; then         make clean >/dev/null 2>&1     fi } #下载函数 function wget_down {     #判断$SOFT_DOWN的值,如果为1,执行下载     if [ $SOFT_DOWN == 1 ];