格式化namenode，造成无法启动datanode

一个常见的问题：格式化namenode，造成无法启动datanode的问题。

问题描述：

无法启动datanode，查看日志，datanote尝试n次启动无效后，会出现这个语句

INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...

解决办法：

1.先清空tmp目录下的所有文件。因为每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时namespaceIDs不一致

2.执行 bin/hadoop namenode -format

3.执行 bin/start-all.sh

注：tmp的目录写在hadoop/conf/core-site.xml中

时间： 2024-08-13 09:45:31

格式化namenode，造成无法启动datanode的相关文章

Hadoop重新格式namenode后无法启动datanode的问题

这个很简单的哇~ 格式化namenode之后就会给namenode的ClusterId重新生成,导致与datanode中的ClusterId不一致而无法启动datanode 解决方法: 进入hadoop/dfs/data/current 找到version文件 进入hadoop/dfs/name/current 找到version文件 将name中的 version文件中的ClusterId复制到data/current下的version中,使ClusterId一致. 原文地址:https://

HDFS格式化namenode后启动集群datanode不启动

这是因为格式化namenode之后,namenode节点中VERSION的ClusterID会改变!!! 解决办法: 1.打开namenode节点的hdfs-site.xml文件,查看你的namenode的元数据存储位置和datanode数据存储位置: 2.然后到对应的的目录下找到VERSION文件: 3.打开namenode的VERSION文件,复制其中的ClusterID,粘贴到所有datanode节点VERSION文件的ClusterID后,再次启动集群即可! 原文地址:https://w

多次NameNode执行format后DataNode启动不了解决方案

1.问题 执行start-dfs.sh后在进程中查看jps,发现NameNode启动,但DataNode没有 2.原因 在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致 原因可能是多次Hadoop namenode -format导致clusterID不一致 3.解决方法 1)先去hadoop路径下的配置文件hdfs-site.xml可知dfs.namenode.name.dir的地址和dfs.datanode.data.dir的地

hadoop2.0中无法启动datanode的问题

问题描述:在启动datanode进程时,能成功的启动:但用jps查看进程时,发现进程不存在,下面是在datanode日记文件的错误信息 如下图的截屏所示: 主要原因:发生错误的原因:由于把data放在的tmp的零时目录下,导致格式化之后,datanode中的数据在namenode中无法找相应的句柄. 解决方案: 1.首先删除logs/目录下的所有data的日记信息 2.删除dfs目录中的temp文件中的所有文件(Hadoop的配置过程参考“hadoop2.20.0集群安装教程") 3.然后重新格

重新格式化namenode后，出现java.io.IOException Incompatible clusterIDs

错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0dee3 原因: 每次namenode format会重新创建一个namenodeId,而data目录包含了上次format

Hadoop在linux下无法启动DataNode

最近重新捡起了Hadoop,所以博客重新开张- 首先描述一下我的问题:这次我使用eclipse在Ubuntu上运行hadoop程序.首先,按照厦门大学数据库实验室的eclipse下运行hadoop程序的教程配置好了eclipse,然后在命令行启动Hadoop.在eclipse界面中,有input文件夹,右键这个文件家有一个Upload files to DFS,通过这个上传之后,发现上传的文件大小为0.0. 解决方法: 首先提一句真是粗心毛病一定要改....在命令行的启动hadoop的时候没有仔

hadoop无法启动DataNode问题

由于种种原因,今天重新安装hadoop集群,清空了/tmp下的目录,重启集群,hadoop namenode -format 之后  start-all   但是没有发现DataNode的守护进程,查了些资料发现重 复格式化namenode之后会造成current/VERSION中id不同,因此不能启动datanode 解决如下图 将前面/data/下的namespaceID:改为后面的namespaceID:重新启动hadoop集群,问题即可解决.

hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)

本次是第一次在生产环境部署HBase,本文若有配置上的不妥之处还请高手指正. hadoop版本:hadoop-2.4.1 HBase版本:hbase-0.98.6.1-hadoop2 JDK:1.6 操作系统:centOS6.3 64bit 1. 安装snappy #yum install snappyInstalled: snappy.x86_64 0:1.1.0-1.el6 #yum install snappy-devel 记录一下,当前GCC版本4.4.7 2. 由于hadoop官网下载

Hadoop启动datanode失败，clusterId有问题

问题: 搭建伪Hadoop集群的时候,运行命令: hdfs namenode -format 格式化或者说初始化namenode. 然后用命令: start-dfs.sh 来启动hdfs时,jps发现datanode先是启动了一下,然后就挂掉了,在http://192.168.195.128:50070 (HDFS管理界面)也看不到datanode的信息. 然后去datanode的日志上面看,看到这样的报错: 出错原因:(来自博客https://blog.csdn.net/qq_30136589