解决hadoop启动后datanode无法启动问题

hadoop部署完成后datanode无法启动问题解决

1.检查是否有遗留的hadoop进程还在运行，如果有的话，先stop-all.sh或kill杀掉；

2.在master节点上，删除/tmp/hadoop-XXX/下的所有文件；

3.在slave节点上，删除/tmp/hadoop-XXX/下的所有文件；

4.格式化namenode，bin/hadoop namenode -format

5.bin/start-all.sh启动hadoop，检查。

时间： 2024-08-26 10:43:29

解决hadoop启动后datanode无法启动问题的相关文章

hadoop2.5.2 启动发现DataNode没有启动启来？

hadoop2.5.2 启动成功后,用jps查看:感觉少了DataNode 确实少了DataNode. 查看日志: 从日志上看,画线的部分说明了问题 datanode的clusterID 和 namenode的clusterID 不匹配. 解决办法: 根据日志中的路径,cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹, 将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的cluste

hadoop动态添加datanode启动失败的经验

动态添加datanode节点,主机名node14.cnshell>hadoop-daemon.sh start datanodeshell>jps #查看datanode进程是否已启动发现DataNode进程启动后立即消失,查询日志发现一下记录: 2018-04-15 00:08:43,158 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers for [TERM, HUP,

启动Hadoop时，DataNode启动后一会儿自动消失的解决方法

查看slaver1/2的logs,发现 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000java.io.IOException: Incompatible clusterIDs in /u

hadoop问题总结:datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群: (1)32位hadoop1集群(5个节点); (2)64位hadoop2集群(6个节点) 两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,但是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100% 其实这两个集群问题是一样的,都是

hadoop启动后jps查不到namenode的解决办法

最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在. 下面是我的core-site.xml和hdfs-site.xml配置: core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <desc

hadoop 完全分布式下 datanode无法启动解决方法

问题描述: 在集群模式下更改节点后,启动集群发现 datanode一直启动不起来. 我集群配置:有5个节点,分别为master slave1-5 . 在master以Hadoop用户执行:start-all.sh jps查看master节点启动情况: NameNode JobTracker SecondaryNameNode 均已经正常启动,利用 master:50070 , Live Nodes 为0, 随进入 slave1: ssh slave1, 输入命令 jps ,发现只有 TaskT

格式化hdfs后，hadoop集群启动hdfs，namenode启动成功，datanode未启动

集群格式化hdfs后,在主节点运行启动hdfs后,发现namenode启动了,而datanode没有启动,在其他节点上jps后没有datanode进程!原因: 当我们使用hdfs namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,而datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID,刚好有进行了一次格式化,在namen

重新格式化hadoop的namenode导致datanode无法启动的最简单解决办法

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8

hadoop启动后jps没有namenode(转)

hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中), 目的是两者一致. 但是查看后,两者的ID是一样的, 于是查看/usr/local/ha