启动与关闭hadoop

启动hadoop
1.start-all.sh
  可以看到这个脚本包含两个部分,start-dfs.sh和start-mapred.sh
2.start-dfs.sh包含
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh  --config $HADOOP_CONF_DIR --script "$bin"/hdfs start namenode $nameStartOpt
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs start datanode $dataStartOpt
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs start secondarynamenode

start-mapred.sh包含
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start jobtracker
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start tasktracker

可见namenode 和 jobtracker通过hadoop-daemon.sh启动,datanode,secondarynamenode,tasktracker 通过hadoop-daemons.sh启动.
3.hadoop-daemons.sh 
  由这个脚本可以看到其中启动slaves.sh和hadoop-daemon.sh
4.hdfs.sh和mapred.sh
  最后一行代码都是 
  exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "[email protected]"  
  这个就是真正的启动命令了。就是常见的java程序启动了,入口方法为java中的main 函数.
  这里启动了NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.

停止hadoop
1.stop-all.sh
  可以看到这个脚本也包含两个部分,stop-dfs.sh和stop-mapred.sh
  
2.stop-dfs.sh包含
  "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop namenode
  "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop datanode
  "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs stop secondarynamenode

stop-mapred.sh包含
  "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop jobtracker
  "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop tasktracker
3.分析hadoop-daemon.sh,其中包含   kill `cat $pid` ,程序通过kill命令来杀死进程号,达到停止hadoop的目的.

时间: 2024-10-13 01:24:52

启动与关闭hadoop的相关文章

启动和关闭Hadoop集群命令步骤

启动和关闭Hadoop集群命令步骤总结: 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -report观察集群配置情况.5. 通过http://npfdev1:50070界面观察集群运行情况.(如果遇到问题 看 https://www.cnblogs.com/zlslch/p/6604189.htm

单独启动和关闭hadoop服务

1)启动名称节点   Hadoop-daemon.sh start namenode  2) 启动数据节点 hadoop-daemons.sh start datanode  slave 3)hadoop-daemon.sh start secondarynamenode  4)查看端口50070 netstat -anop | grep 500 5)开启resourcemanager yarn-daemon.sh start resourcemanager 6)开启nodemanager bi

Hadoop大象之旅008-启动与关闭Hadoop

Hadoop大象之旅008-启动与关闭Hadoop 老帅 Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动. 1.Hadoop的启动命令存储位置 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"cd/usr/local/hadoop"或者"cd $HADOOP_HOME"进入到Hadoop根目录; 使用命令"ll"查看一下目录结构,如下图所示: 其中d开头的表示文

linux下tomcat服务的启动、关闭与错误跟踪

linux下tomcat服务的启动.关闭与错误跟踪,远程连接到服务器以后,通常通过以下几种方式启动关闭tomcat服务: 1).启动tomcat服务 进入tomcat主目录下的bin目录,然后执行如下命令: ./startup.sh 2).关闭tomcat服务 进入tomcat主目录下的bin目录,然后执行如下命令: ./shutdown.sh 通过1)启动的tomcat有个弊端,当客户端连接断开的时候,tomcat服务也就立即关闭了,通过以下命令可以作为linux服务一直运行 3).作为服务启

MHA启动及关闭

MHA启动及关闭 #masterha_manager --global_conf=/etc/masterha/masterha_default.conf --conf=/etc/masterha/app1.conf > /tmp/mha_manager.log 2>&1& master去执行: #sh /etc/masterha/init_vip.sh 确认VIP绑定成功,如果业务按VIP配置的访问DB,应该已经可以正常访问. 注意: 第一次起动,主库上的VIP不会自动绑定,需

RAC 数据库的启动与关闭

RAC数据库与单实例的差异主要表现在多个实例通过集群件来统一管理共享的资源.因此原有的单实例的管理方式,如数据库.监听器等的关闭启动等可以使用原有的方式进行,也可以通过集群管理工具,命令行来集中管理,这也是推荐的管理方式.由于集群件crs位于数据库之上,即RAC数据库依赖于集群件,因此数据库的启动与关闭应该结合集群来考虑,下面以10g RAC来描述数据库启动与关闭过程,不涉及集群层的启动与关闭. 一.RAC 数据库启动与关闭顺序1.关闭顺序  关闭OEM,关闭监听,关闭 Oracle 实例,关闭

oracle的启动与关闭原理-数据路的分阶段启动

一.Oracle的启动和关闭原理 1.oracle启动的步骤分析 SQL> startup            --这是启动数据库的命令ORACLE instance started.    --第一个阶段,启动实例,nomount的状态Total System Global Area  608174080 bytesFixed Size            1268920 bytesVariable Size          230687560 bytesDatabase Buffers

oracle的启动和关闭

oracle004 oracle相关的程序的启动与关闭: 关闭:EM.ISQLPLUS -->listener --> 数据库 isqlplusctl stop .emctl stop dbconsole  -->lsnrctl stop -->有两种方式: 1. dbstop 2. sqlplus as / sysdb --> shutdown immediate 开启:listener --> 数据库 ---> EM.ISQPLUS 数据库 start --&

相克军_Oracle体系_随堂笔记016-参数文件及数据库的启动和关闭

参数文件: spfile<SID>.ora    动态参数文件,是二进制文件,9i以后引入并建议使用 init<SID>.ora    静态参数文件,是文本文件 动态参数,部分参数可以动态修改.建议9i以后就使用spfile. 数据库启动三个阶段: nomount(根据参数文件配置参数启动实例) mount(根据参数文件中记录的控制文件位置打开控制文件) open(根据控制文件信息打开数据文件,redo日志文件,open数据库) 注:nomount之前就可以根据pfile创建spf