hadoop 完全分布式 下 datanode无法启动解决方法

问题描述:

在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。

我集群配置:有5个节点,分别为master slave1-5 。

在master以Hadoop用户执行:start-all.sh

jps查看master节点启动情况:

NameNode

JobTracker

SecondaryNameNode

均已经正常启动,利用 master:50070 , Live Nodes 为0, 随进入 slave1:

ssh slave1,  输入命令 jps ,发现只有 TaskTracker 而没有DataNode。随后看日志

上网查找解决方法,最后终于解决了,解决方法如下:

1. 先执行stop-all.sh暂停所有服务

2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹,DataNode存放数据块的位置)、 logs 文件夹删除 , 然后重新建立tmp , logs 文件夹

3. 将所有Salve节点上的/usr/hadoop/conf下的core-site.xml删除,将master节点的core-site.xml文件拷贝过来,到各个Salve节点

scp /usr/hadoop/conf/core-site.xml   [email protected]:/usr/hadoop/conf/

4. 重新格式化: hadoop namenode -format

5. 启动:start-all.sh

此外也可能遇见slave的Datanode错误:

错误1,hadoop datanode 问题 INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz..

解决方法见:http://blog.sina.com.cn/s/blog_893ee27f0100zoh7.html,

错误2,slave节点的DataNode不能连接master, 日志信息为为: INFO org.apache..ipc.Client: Retrying connect to server: master/172.16.0.100:9000. Already tried 0 time(s);

解决办法:

1、ping master能通,telnet master 9000不能通,说明开启了防火墙
        2、关闭master主机防火墙,可以通过/sbin/iptables -F清除所有规则来暂时停止防火墙
              如果想清空的话,先执行 /sbin/iptables -P INPUT ACCEPT,然后执行 /sbin/iptables -F

注:这是我碰到的情况,不见得是你遇到的问题,基本上从以下几个方面解决问题:
        1. 检查各个xml文件是否配置正确

2. Java环境变量配置是否正确

3. ssh是否无密码互通

4, Hadoop离开安全模式,hadoop dfsadmin -safemode leave。

也可以参考这个:http://blog.sina.com.cn/s/blog_76fbd24d01017qmc.html

本文转载自http://blog.csdn.net/daniel_ustc/article/details/10834413

时间: 2024-11-11 02:25:47

hadoop 完全分布式 下 datanode无法启动解决方法的相关文章

伪分布式下DataNode无法启动问题

DataNode无法启动: 问题原因: 执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本.如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与n

ubuntu 14.04 安装 vmware 10 X64 后无法启动解决方法

ubuntu 14.04 安装成功后,平时的工作什么的都够用了, 最近需要做一个测试,测试环境还必须是windows的.所以就准备整个虚拟机来,kvm 跟 vmware 考虑再三,选择了 vmware .vmware 10的安装方法,就不做说明了.度娘或谷哥还是有蛮多方法.我这里所写的是,vmware 安装后,启动时报错. 报错图片如下: 解决方法: 当然方法有很多种,我也试过几种方法,有使用patch 的,但是我用这种方法的时候,出现错误了,继续找方法的时候,有网友有告诉过这样一种方法,就是手

win7系统服务print spooler 无法启动解决方法(开启及关闭方法)

以下是小编从新浪博客一个大雕博客中找到的“print spooler 无法启动”解决方法,请您仔细参考. 在下的系统是Windows7正式版,因为经常要制作PDF文件,所以对虚拟打印机使用较多,在下的虚拟打印机是Adobe Acrobat下自带的虚拟打印机,这都不是关键,虚拟打印机哪一个版本都一样,关键在于转换PDF文件或者打印输出文件,需要启动Print spooler服务(鉴别方法:没有此项服务,Word.Excel中更换纸张方向等将无法进行,并且开始菜单“设备和打印机”中“打印机和传真机”

WINDOWS INSTALLER无法启动解决方法

WINDOWS INSTALLER无法启动解决方法 2011-04-13 10:18:32 标签:操作系统 windows 休闲 职场 第一步:使用记事本编写installer.reg文件,内容如下: Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\MSIServer] “ImagePath”=- “ImagePath”=hex(2):25,00,53,00,79

android设计的布局在阿拉伯语下界面错乱的解决方法

(1)正在AndroidManifest.xml声明文件的application元素中,增加" android:supportsRtl=true" (2)建] androidの设计的布局在阿拉伯语下界面错乱的解决方法 (1)在AndroidManifest.xml声明文件的元素中,添加" android:supportsRtl=true" (2)修改应用程序中layout的"left/right"布局属性,改为对应的"start/end

img标签下多余空白BUG解决方法

在进行页面的DIV CSS排版时,遇到IE6(当然有时Firefox下也会偶遇)浏览器中的图片元素img下出现多余空白的问题绝对是常见的 对于该问题的解决方法也是“见机行事”. 1.将图片转换为块级对象 即,设置img为“display:block;”.在本例中添加一组CSS代码:“#sub img {display:block;}”. 2.设置图片的垂直对齐方式 即设置图片的vertical-align属性为“top,text-top,bottom,text-bottom”也可以解决.如本例中

CentOS7 下linux不能上网解决方法?,centos7 eth0 没有ip,IP突然丢失

CentOS7 下linux不能上网解决方法? 在CentOS VMware下安装好linux后,发现有时不能直接联网,特分享下总结出来的经验,希望对新手有用 工具/原料 XP系统 VMware.Workstation.v7.0以上 CentOS-5.5-i386-bin-DVD.iso 其他不同版本应该差不多 方法/步骤 虚拟机安装就不说了,从安装linux后测试发现不能联网,可以先终端重启下网卡 失败如图:   找到点击选择setting   在network Adapter选中,右侧是否是

无法录制下拉菜单的解决方法

QTP默认录制方式无法录制下拉菜单,需修改设置后再录制 修改设置如下: 1.Record-> web event recording configuration -----custom settings... 展开Web objects 2.选中webelement,点击event -> add -> .并确定在record栏内,状态是enabled 3.重新录制你的脚本 4.录制完成后,执行脚本,若回放失败,是因为脚本只录制了鼠标的 事件,却没有录制click事件,所以脚本录制完后要手

高DPI下界面错乱的解决方法和原理

来源: http://bbs.csdn.net/topics/370177760 我在win32 + c写的界面中解决办法,就是把字体的字号给固定了,这样做的结果就是,不管dpi是否有改变,界面中控件的文字的字号不变,就不会出现文字换行的情况. 但像菜单文字的字号就变大了,combobox(右三角),checkbox(选择框)变大一点点,显的有点不协调. 但至少不影响使用. 下面是判断当前系统的dpi,然后重置字体的字号. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15