Hadoop之Secondary NameNode

NameNode存储文件系统的变化作为log追加在本地的一个文件里:这个文件是edits。当一个NameNode启动时,它从一个映像文件:FsImage,读取HDFS的状态,使用来自edits日志文件的 edits。然后它将写入新的HDFS状态到FsImage并开始平常操作,此时edits是一个空文件。由于NameNode合并FsImage和edits只在启动时,edits日志文件会变得很大在一段时间内并运行在繁忙的集群上 ,一个副作用是一个更大的edits文件会使NameNode在下次重新启动时需要更长的时间。

Secondary NameNode定期合并FsImage和edits日志文件,并保持edits日志文件大小在一定限度。它通常和NameNode运行在不同的机器上,内存需求和NameNode相同。

检查点进程开始由Secondary NameNode两个配置参数控制。

dfs.namenode.checkpoint.period,默认被设置为1个小时,指定连续两个检查点间的最大延迟

dfs.namenode.checkpoint.txns,默认被设置为1M,定义了uncheckpointed事务在NameNode的数量,这将迫使有一个紧急检查点,即使检查点时间间隔尚未达到。

Secondary NameNode 存储最新检查点在一个目录中其结构的方式与NameNode的目录相同。以便于checkpoint镜像总是准备被NameNode读,如果需要的话。

为了安全,如何将Secondary NameNode 存放与NameNode不在同一台机器上?

hadoop 1.x版本:

在hadoop 节点下,修改masters内容

[[email protected] conf]# vi masters

比如将里面的localhost改为Hadoop1

效果如下:

Hadoop:

[[email protected] conf]# jps

7008JobTracker

6836NameNode

7105 Jps

Hadoop1:

[[email protected] local]# jps

6315DataNode

6470TaskTracker

6561 Jps

6384SecondaryNameNode

hadoop2.x版本:

需要增加masters文件

vi masters

在文件里写入希望Secondary NameNode存放的主机名或者ip地址

需要修改配置文件:

修改hdfs-site.xml:

<property>
<name>dfs.http.address</name>
<value>master:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.If the port is 0 then the server will start on a free port.
</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
//主要是这里的主机名要变
</property>

修改core-site.xml文件:

<property>
  <name>fs.checkpoint.period</name>
  <value>3600</value>
  <description>The number of seconds between two periodic checkpoints.
  </description>
</property>
<property>
  <name>fs.checkpoint.size</name>  //以日志大小间隔  做备份间隔
  <value>67108864</value>
</property>

上面修改完毕,相应的节点也做同样的修改。

SecondaryNameNode的单独启动和停止

启动:

bin/hadoop-daemons.sh --config conf/ --hosts masters start secondarynamenode

停止:

bin/hadoop-daemons.sh --config conf/ --hosts masters stop
secondarynamenode

hadoop2.x里SecondaryNameNode总是在执行start-dfs.sh后自动起来,也没配置SecondaryNameNode,怎么自动启动SecondaryNameNode?

hadoop的启动命令:

start-dfs.sh

一旦执行这个脚本,它就会启动master,slave,然后secondarynamenode。

也就是说start-dfs.sh对它们进行了定义,你可以修改里面的脚本。

sudo nano start-dfs.sh

#---------------------------------------------------------
# secondary namenodes (if any)

SECONDARY_NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -secondarynamenodes 2>/dev/null)

if [ -n "$SECONDARY_NAMENODES" ]; then
echo "Starting secondary namenodes [$SECONDARY_NAMENODES]"

"$HADOOP_PREFIX/sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" --hostnames "$SECONDARY_NAMENODES" --script "$bin/hdfs" start secondarynamenode
fi

我们看到上面代码部分,注释掉SecondaryNameNode就不会起来了(在做这个操作前,自己先备份一份)。

时间: 2024-08-26 18:22:47

Hadoop之Secondary NameNode的相关文章

通过secondary namenode恢复崩溃的namenode

模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode. 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 1.进入name目录下,删除name目录内容. [[email protected] name]$ pwd/home/huser/hadoop/tmp/dfs/name [[email protected] name]$ lldrwxrwxr-x 2 huser huser 4096 4月 1

Hadoop 2.0 NameNode HA和Federation实践

参考链接:Hadoop 2.0 NameNode HA和Federation实践 Posted on 2012/12/10 一.背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都被单点故障的问题所困扰,直到Apache Hadoop在2012年5月发布了2.0的alpha版本,其中MRv2还很不成熟,可HDFS的新功能已经基本可用,尤其是其中的的High Ava

secondary namenode和namenode分离

namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上. 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode.决定谁是namenode的配置是core-site.xml中的fs.default.name这个参数.master中记录secondnamenode的IP或主机名,可以同时配置多个secondnamenode. 1.修改m

解读Secondary NameNode的功能

1.概述 最近有朋友问我Secondary NameNode的作用,是不是NameNode的备份?是不是为了防止NameNode的单点问题?确实,刚接触Hadoop,从字面上看,很容易会把 Secondary NameNode当作备份节点:其实,这是一个误区,我们不能从字面来理解,阅读官方文档,我们可以知道,其实并不是这么回事,下面就来赘述下 Secondary NameNode的作用. 2.Secondary NameNode? 在Hadoop中,有一些命名模块不那么尽人意,Secondary

Secondary NameNode究竟是做什么的

Secondary NameNode:它究竟有什么作用? 在hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一.从它的名字上看,它给人的感觉就像是NameNode的备份.但它实际上却不是.很多Hadoop的初学者都很疑惑,Secondary NameNode究竟是做什么的,而且它为什么会出现在HDFS中.因此,在这篇文章中,我想要解释下Secondary NameNode在HDFS中所扮演的角色. 从它的名字来看,你可能认为它跟NameNode有点关系.没错,你

Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint

原先使用hadoop默认设置(hadoop1.2.1),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN.但是具体SNN备份的时间周期和log文件的大小无法定制,后来楼主就修改了SNN的设置,将fs.checkpoint.period修改为3600s,fs.checkpoint.size修改为64兆.在core-site.xml配置文件中添加这两个参数之后,却发现SNN总是无法备份.后来google查找发现还是配置文件没有配置完整造成的,修改配置

Secondary NameNode

在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一.从它的名字上看,它给人的感觉就像是NameNode的备份.但它实际上却不是.HDFS集群有两类节点以管理者和工作者的工作模式运行,namenode就是其中的管理者.它管理着文件系统的命名空间,维护着文件系统树及整棵树的所有文件和目录.这些信息以两个文件的形式保存于内存或者磁盘,这两个文件是:命名空间镜像文件fsimage和编辑日志文件edit logs ,同时namenode也记录着每个文件中各个块所在的数据

Secondary NameNode 的作用

https://blog.csdn.net/xh16319/article/details/31375197 很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,其实并不是这样. Secondary NameNode:它究竟有什么作用? 在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一.从它的名字上看,它给人的感觉就像是NameNode的备份.但它实际上却不是.很多Hadoop的初学者都很疑惑,

Hadoop之HDFS(NameNode和SecondaryNameNode)(面试开发重点)

NameNode和SecondaryNameNode(面试开发重点) 1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了.因此产生在磁盘中备份元数据的FsImage. 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,