Hadoop重新格式namenode后无法启动datanode的问题

这个很简单的哇~

格式化namenode之后就会给namenode的ClusterId重新生成，导致与datanode中的ClusterId不一致而无法启动datanode

解决方法：

　　进入hadoop/dfs/data/current 找到version文件

　　进入hadoop/dfs/name/current 找到version文件

　　将name中的 version文件中的ClusterId复制到data/current下的version中，使ClusterId一致。

原文地址：https://www.cnblogs.com/RealMaang/p/11625280.html

时间： 2024-10-07 07:46:46

Hadoop重新格式namenode后无法启动datanode的问题的相关文章

hadoop多次格式化后，导致datanode启动不了，怎么办？（伪分布式）

根据当初 hadoop 安装目录下 conf 目录的 core-site.xml 的设置,找到该目录: 进入该目录在 data 和 name 文件夹下均有 current 文件夹 ,和 current 文件夹下有 VERSION 文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是修改 data 里的该文件文件: 进入到该目录下: 编辑文件: 保存,退出重启电脑,启动 hadoop 守护进程到此成功恢复!!! 来自为知笔记(Wiz) hadoop多次格式化后,导致

hadoop多次格式化后，导致datanode启动不了

hadoop namenode -format多次格式化后,datanode启动不了 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/beifeng/core-site.xml._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and

重新format namenode后，datanode无法正常启动

测试环境,由于测试需求,重新format namenode后,导致datanode无法正常启动. 1. 查看datanode日志,可以发现错误"Initialization failed for Block pool <registering> (Datanode Uuid unassigned)" 2018-01-27 20:09:49,052 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initializ

Hadoop 源代码分析（一七）DataNode

周围的障碍扫清以后,我们可以开始分析类DataNode.类图如下: publipublic class DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable上面给出了DataNode 的继承关系,我们发现,DataNode 实现了两个通信接口,其中ClientDatanodeProtocol 是用于和Client交互的,InterDat

hadoop namenode多次格式化后，导致datanode启动不了

jps hadoop namenode -format dfs directory : /home/hadoop/dfs --data --current/VERSION #Wed Jul 30 20:41:03 CST 2014 storageID=DS-ab96ad90-7352-4cd5-a0de-7308c8a358ff clusterID=CID-aa2d4761-974b-4451-8858-bbbcf82e1fd4 cTime=0 datanodeUuid=a3356a09-780

格式化namenode，造成无法启动datanode

一个常见的问题:格式化namenode,造成无法启动datanode的问题. 问题描述: 无法启动datanode,查看日志,datanote尝试n次启动无效后,会出现这个语句 INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz... 解决办法: 1.先清空tmp目录下的所有文件.因为每次namenode format会重新创建一个namenodeId,而tmp/d

Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构

Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构之前我们简要的看过了DataNode的main函数以及整个类的大至,现在结合前面我们研究的线程和RPC,则可以进一步看看几个对象的大至结构以及调用关系. 我们知道,三个结构(客户端,NameNode,DataNode)是能过网络调用的,走的是RPC.那在底层通讯时谁做服务器谁做客户端呢?我们先回顾一下这三者关系: 这样看,看不出,我们进入源码,看一下夹在中间的NameNode: 在这个initialize函数中,

hadoop无法启动DataNode问题

由于种种原因,今天重新安装hadoop集群,清空了/tmp下的目录,重启集群,hadoop namenode -format 之后 start-all 但是没有发现DataNode的守护进程,查了些资料发现重复格式化namenode之后会造成current/VERSION中id不同,因此不能启动datanode 解决如下图将前面/data/下的namespaceID:改为后面的namespaceID:重新启动hadoop集群,问题即可解决.

Hadoop在linux下无法启动DataNode

最近重新捡起了Hadoop,所以博客重新开张- 首先描述一下我的问题:这次我使用eclipse在Ubuntu上运行hadoop程序.首先,按照厦门大学数据库实验室的eclipse下运行hadoop程序的教程配置好了eclipse,然后在命令行启动Hadoop.在eclipse界面中,有input文件夹,右键这个文件家有一个Upload files to DFS,通过这个上传之后,发现上传的文件大小为0.0. 解决方法: 首先提一句真是粗心毛病一定要改....在命令行的启动hadoop的时候没有仔