执行hdfs namenode -importCheckpoint时出现No image directories available!

在https://issues.apache.org/jira/browse/HDFS-4705找到了答案需要在hdfs-site.xml中配置

1 <!--指定fsimage存储目录-->
2 <property>
3   <name>dfs.namenode.name.dir</name>
4   <value>${hadoop.tmp.dir}/dfs/name</value>
5 </property>

这样指定了fsimage的存储目录后,再执行importCheckpoint命令就可以了,需要注意的是要把namesecondary目录拷贝到与name目录平级的目录下才行

原文地址：https://www.cnblogs.com/tele-share/p/9577400.html

时间： 2024-07-29 20:58:04

执行hdfs namenode -importCheckpoint时出现No image directories available!的相关文章

Hadoop之HDFS(NameNode和SecondaryNameNode)（面试开发重点）

NameNode和SecondaryNameNode(面试开发重点) 1 NN和2NN工作机制思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了.因此产生在磁盘中备份元数据的FsImage. 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,

HDFS NameNode重启优化

http://tech.meituan.com/namenode-restart-optimization.html 一.背景在Hadoop集群整个生命周期里,由于调整参数.Patch.升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键. 本文基于Hadoop-2.x和HA with QJM社区架构和系统设计(如图1所示),通过梳理NameNode重启流程,并在此基础上,阐述对NameNode重启优化

hadoop 2.5 hdfs namenode –format 出错Usage: java NameNode [-backup] |

在 cd /home/hadoop/hadoop-2.5.2/bin 下执行的./hdfs namenode -format 报错[[email protected] bin]$ ./hdfs namenode –format 16/07/11 09:21:21 INFO namenode.NameNode: STARTUP_MSG:/************************************************************STARTUP_MSG: Starti

HDFS NameNode内存详解

前言 <HDFS NameNode内存全景>中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案. 事实上,对NameNode实施横向扩展前,会面临常驻内存随数据规模持续增长的情况,为此需要经历不断调整NameNode内存的堆空间大小的过程,期间会遇到几个问题: 当前内存空间预期能够支撑多长时间. 何时调整堆空间以应对数据规模增长. 增加多大堆空间. 另一方

HDFS-2.7.0系列3: hdfs namenode -format

上一节,讲过了,执行hadoop namenode -format后实际上是执行 /root/hadoop-2.7.0-bin/bin/hdfs namenode -format 下面就来分析这个脚本 --- bin=`which $0` bin=`dirname ${bin}` bin=`cd "$bin" > /dev/null; pwd` 打印 bin=/root/hadoop-2.7.0-bin/bin --- DEFAULT_LIBEXEC_DIR="$bi

Hadoop学习笔记_6_分布式文件系统HDFS --NameNode体系结构

分布式文件系统HDFS --NameNode体系结构 NameNode 是整个文件系统的管理节点. 它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中], 文件/目录的元信息和每个文件对应的数据块列表. 接收用户的操作请求. Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中. 文件包括: fsimage:元数据镜像文件.存储某一时段NameNode内存元数据信

Hadoop 执行 hdfs 命令烦人的警告信息

问题描述: 安装完 hadoop,执行 hdfs dfs -ls 命令时,报警告如下: 2017-07-04 16:32:57,664 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决方法: 1.根据你 hadoop 的版本,来http://dl.bintray.com/sequen

Hadoop JobTracker和NameNode运行时参数查看

1)JobTracker运行时参数: [email protected]:/home/zhangchao3$ ps -ef | grep job hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_jobtracker -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dcom.sun.ma

HDFS Namenode&Datanode

HDFS Namenode&Datanode HDFS 机制粗略示意图客户端写入文件流程: NN && DN Namenode(NN)工作机制 NN是整个文件系统的管理节点.维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表(管理元数据).接收用户的操作请求. fsimage:元数据镜像文件.存储某一时段NN内存元数据信息 edits:操作日志文件 fstime:保存最近一次checkpoint的时间 (以上文件保存在linux文件系统中) 主流程客户