hadoop启动后jps没有namenode(转)

hadoop启动后jps没有namenode

一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决：

1.删除DataNode的所有资料

2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中)，

目的是两者一致。

但是查看后，两者的ID是一样的，

于是查看/usr/local/hadoop/logs下的namenode日志文件，发现错误是java.io.FileNotFoundException: /home/hadoop/hdfs/name/current/VERSION (Permission denied)

在网上搜索后，发现是/home/hadoop/hdfs/name/current/VERSION的权限问题，于是

[email protected]:/usr/local/hadoop/bin$ sudo chmod -R 777 /home/hadoop/hdfs

再进行格式化：[email protected]:/usr/local/hadoop/bin$ hadoop namenode -format

启动：[email protected]:/usr/local/hadoop/bin$ start-all.sh

jps:[email protected]:/usr/local/hadoop/bin$ jps
6692 JobTracker
6259 NameNode
6601 SecondaryNameNode
6810 Jps

由于看到datanode和tasktracker还没有启动，就用了以下命令进行启动，但是发现确实已经启动了。

jobtracker running as process 6692. Stop it first.
192.168.1.3: tasktracker running as process 4959. Stop it first.
192.168.1.4: tasktracker running as process 5042. Stop it first.
[email protected]:/usr/local/hadoop/bin$ jps
6692 JobTracker
6259 NameNode
6601 SecondaryNameNode
7391 Jps
[email protected]:/usr/local/hadoop/bin$ start-dfs.sh
Warning: $HADOOP_HOME is deprecated.

namenode running as process 6259. Stop it first.
192.168.1.3: datanode running as process 4757. Stop it first.
192.168.1.4: datanode running as process 4828. Stop it first.
192.168.1.2: secondarynamenode running as process 6601. Stop it first.

http://www.cnblogs.com/linjiqin/archive/2013/03/07/2948078.html

从百度知道里看到这么一句话，

提示都说了，不建议使用这个脚本，使用start-dfs.sh和start-mapred.sh来替代它。这说明脚本的作者或者维护人也觉得这个脚本可能有问题……
你要是有兴趣也可以自己改改……
时间： 2024-10-11 17:45:13

hadoop启动后jps没有namenode(转)的相关文章

hadoop启动后jps查不到namenode的解决办法

最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在. 下面是我的core-site.xml和hdfs-site.xml配置: core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <desc

hadoop 启动后执行wordcount解析（No such file or directory错误）

hadoop 启动后执行wordcount解析 第一个  hadoop fs -mkdir input 结果出现了错误No such file or directory 查资料,应该是 执行命令为:hadoop fs -mkdir /input 1.x是可以执行的,而2.x的执行命令为:hadoop fs -mkdir /

hadoop启动后，jps命令后发现nodename启动失败,检查日志报错：FSNamesystem initialization failed

1. 基本信息 hadoop    版本 hadoop-0.20.205.0.tar.gz 操作系统   ubuntu 2. 问题 在使用Hadoop开发初期的时候遇到一个问题. 每次重启系统后发现不能正常运行hadoop.必须执行  bin/hadoop namenode -format  进行格式化才能成功运行hadoop,但是也就意味着以前记录的name等数据丢失. 查询日志发现错误: 21:08:48,103 INFO org.apache.hadoop.hdfs.server.name

Hadoop开启后jps显示只有jps

之前在用Mapreduce写代码时,在DFS Location下的会报一个error,大体的意思就是与主机名相关的错误 然后我就觉得可能时Hadoop开启时出了错误,然后我就重启了Hadoop,jps查看了一下,果然出现了错误 可见jps命令输入后什么都没有,原本应该如下图所示 后来我就在网上百度,发现出现错误的原因时我主机名和配置文件不一致造成的,根据Hadoop启动时的提示,从这随便挑选一个 例如; starting namenode, logging to /usr/local/hadoo

解决hadoop启动后datanode无法启动问题

hadoop部署完成后datanode无法启动问题解决 1.检查是否有遗留的hadoop进程还在运行,如果有的话,先stop-all.sh或kill杀掉: 2.在master节点上,删除/tmp/hadoop-XXX/下的所有文件: 3.在slave节点上,删除/tmp/hadoop-XXX/下的所有文件: 4.格式化namenode,bin/hadoop namenode -format 5.bin/start-all.sh启动hadoop,检查.

hadoop启动后没有datanode怎么办

根据日志中的路径,cd /home/hadoop/tmp/dfs,能看到 data和name两个文件夹. 方法一:删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除,然后重新执行hadoop namenode -format进行格式化,重启集群,错误消失. 方法二: 将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID 原文地址:

hadoop问题总结:datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群: (1)32位hadoop1集群(5个节点); (2)64位hadoop2集群(6个节点) 两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,但是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100% 其实这两个集群问题是一样的,都是

datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群: (1)32位hadoop1集群(5个节点); (2)64位hadoop2集群(6个节点) 两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,但是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100% 其实这两个集群问题是一样的,都是

Hadoop的多节点集群启动，唯独没有namenode进程？（血淋淋教训，一定拍快照）

前言 大家在搭建hadoop集群时,第一次格式化后,一路要做好快照.别随便动不动缺少什么进程,就来个格式化. 问题描述:启动hadoop时报namenode未初始化:java.io.IOException: NameNode is not formatted. 同时,若单独启动namenode,则出现,启动后一会儿,自行又消失的情况. 2.访问HadoopMaster:50070失败,说明namenode启动失败 解决办法:初始化namenode 提示是否重新初始化namenode,于是输入Y.