【已解决】DataNode 无法正常启动解决方案


1. 原因一

  在 start-all.sh 之后 DataNode 无法正常启动,单独启动也启动不了

      

  可能的原因

  多次格式化,导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动

  验证

  查看对应主机的相关日志信息,位置在 /soft/hadoop/logs

  查看 hadoop-centos-datanode-s101.log 文件

java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-centos/dfs/data:
namenode clusterID = CID-297a82ef-d68f-49c8-a9d0-d7640a901b2c;
datanode clusterID = CID-e5778e8c-dfbd-4630-9f46-45d2057aeec8

  解决方案

  在配置的时候在 core-site.xml 设置 hadoop.tmp.dir 参数。

  如果不设置,其默认为 /tmp/hadoop-${user.name}

  这里为默认设置结合主机名为  /tmp/hadoop-centos

  解决代码

rm -rf /tmp/hadoop-centos

  这里是伪分布式安装,如果是分布式安装的话通过 SSH 远程登陆删除配置的 DataNode 节点的 core-site.xml 设置 hadoop.tmp.dir 参数

  如:

ssh s102 "rm -rf /home/centos/hadoop"

  

  启动

  hadoop-daemons.sh start datanode


2. 原因二

  可能的原因

  没有格式化文件系统,导致 NameNode 无法正常启动

  验证

  查看对应主机的相关日志信息,位置在 /soft/hadoop/logs

  查看 hadoop-centos-namenode-s101.log 文件

  以下说明 NameNode 的工作目录不存在或者无法访问

org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:  Directory /home/centos/hadoop/dfs/name is in an inconsistent state:    storage directory does not exist or is not accessible.

  解决方案

  格式化文件系统,再出现错误参考原因一。

hdfs namenode -format

3. 原因三

  可能的原因

  进程正常启动,datanode无法使用

  本机联通s101出现问题

  验证

  查看对应主机的相关日志信息,位置在/soft/hadoop/logs

  查看 hadoop-centos-namenode-s101.log 文件

  以下说明本机联通 s101 出现问题,将主机名 s101 解析为211.98.71.195

2018-07-21 22:49:33,960 INFO org.apache.hadoop.ipc.Client:
    Retrying connect to server: s101/211.98.71.195:8020.
        Already tried 1 time(s); maxRetries=45

  

  解决方案

  修改 hosts 文件

sudo vi /etc/hosts

  重启 Hadoop

  进程正常启动,DataNode无法使用,上传文件失败

  防火墙没有关闭,查看本机防火墙,如果没关闭则关闭



【已解决】DataNode 无法正常启动解决方案

原文地址:https://www.cnblogs.com/share23/p/9703588.html

时间: 2024-11-05 23:48:42

【已解决】DataNode 无法正常启动解决方案的相关文章

mysql (已解决p)MYSQL5.7启动不了,本地计算机上的 MySQL57 服务启动后停止。

找到目录E:\AppServ\MySQL\data 备份data中的数据 打开CMD cd E:\AppServ\MySQL\bin mysqld --initialize 等待重新初始化完毕,再还远自己备份的data中的数据,然后启动mysql服务

启动httpd报错-已解决

[[email protected] ~]# service httpd startStarting httpd: (13)Permission denied: make_sock: could not bind to address 192.168.1.153:28080no listening sockets available, shutting downUnable to open logs [FAILED][[email protected] ~]# 临时办法: [[email pro

OpenCV 无法启动此程序,因为计算机中丢失opencv_core249.dll。请尝试重新安装改程序已解决此问题

换了64位的系统,配置好之后运行之前的程序,竟然给我抛出这个错误.应该是我的opencv没有安装对吧.系统报错 无法启动此程序,因为计算机中丢失opencv_core249.dll.请尝试重新安装改程序已解决此问题 那就是缺少opencv_core249.dll动态链接库了. [解决方法] 1 在安装目录下找到这个链接库 (但是不知道为什么我引用的库还是要x86下的才行,郁闷中) 2 复制到指定的目录下 64位系统 C:\Windows\SysWOW64 32位系统 C:\Windows\Sys

sql2008 启动报错:应用程序的组件中发生了无法处理的异常和值不能为空 viewinfo(已解决!)

sql2008 启动报错:应用程序的组件中发生了无法处理的异常和值不能为空 viewinfo(已解决!) 1.重启sql(无效) 2.,重启系统(无效) 3.重装.net(无效) 后发现问题出在 这是因为临时处理路径出现异常造成的,主要是C:\Users\Administrator\AppData\Local\Temp下的文件夹名为[2]的文件夹出现了问题,解决方法如下: 进入C:\Users\Administrator\AppData\Local\Temp路径,也可以在C盘地址栏输入此路径进入

光驱错误:由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备

现象:Windows 无法启动这个硬件设备,卸载后重新扫描还是显示叹号.设备管理器光驱驱动右键属性,提示错误信息:由于其配置信息(注册表中的)不完整或已损坏,Windows 无法启动这个硬件设备. (代码 19) 解决方法: 1. 点开"开始"-运行regedit.exe,进入注册表编辑器,到左边的项目栏里找到HKEY_LOCAL_MACHINE\SYSTEM \CurrentControlSet\Control\Class\{4D36E965-E325-11C E-BFC1-0800

PostgreSQL添加新服务器连接时,报错“Server doesn't listen ”,已解决。

PostgreSQL添加新的服务器连接时,报错: 解决方法: 第一步:修改配置文件中连接的服务器列表,添加服务器IP地址(图pg002.png) 配置文件地址:数据库右击属性,打开数据库的安装路径在data文件中找到配置文件pg_hba.conf. 如:D:\Program Files\PostgreSQL\9.4\data\pg_hba.conf 注:只要修改IP路径就可以了,‘/’后面的数字都为32. 第二步:修改配置文件后,启动服务器的服务: 启动服务完成,连接服务器,新服务器就可以正常的

Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)

Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/local/hadoop-2.4.0/dfs/data" at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocat

解决live CD方式启动Ubuntu系统不能启动openssh-server服务

当直接从Live CD镜像(例如从U盘)启动Ubuntu系统时,如果想要安装sshd服务,那么需要安装openssh-server软件包,如果用apt-get install的方式安装不了就换用aptitude安装,安装成功后却发现启动不了ssh服务,如下所示: 问题展现: Preconfiguring packages ... Selecting previously unselected package openssh-server. (Reading database ... 154905

卷积网络训练太慢?Yann LeCun:已解决CIFAR-10,目标 ImageNet

卷积网络训练太慢?Yann LeCun:已解决CIFAR-10,目标 ImageNet Kaggle近期举办了一场 关于CIFAR-10数据集的竞赛,该数据集包含有6万个32*32的彩色图像,共分为10种类型,由 Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集而来. 很多竞赛选手使用了卷积网络来完成这场竞赛,其中一些在该分类任务中靠着超乎人类能力的表现而得分.在本系列的博客中,我们将会分别采访三位选手和卷积网络之父.Facebook人工智能实验室主任