添加 SecondaryNameNode

网络上的很多人写的过程都是错的,关键配置反而不写。

SecondaryNameNode的启动有两种方式

一:在整个hdfs系统启动时,在namenode上执行start-dfs.sh则namenode会依据conf/master文件下的主机,逐个ssh上去,启动相应的程序,目的SecondaryNameNode上需要配置

  <property>
  <name>dfs.http.address</name>
  <value>cq02-map-lbsop-broker03.cq02:8010</value>
  <description>The address and the base port where the dfs namenode web ui will listen on.If the port is 0 then the server w
ill start on a free port.</description>
  </property>

<property>
  <name>dfs.secondary.http.address</name>
  <value>yf-map-lbsop-broker04.yf01:50090</value>
  </property>
  <property>

第一个是配置namenode的hdfs文件位置,通过该配置去拿取namenode元数据信息,第二个配置是本机的SecondaryNameNode启动端口

二:系统已经运行,想新增一个SecondaryNameNode,此时只需要在新增机器上配好配置,执行./hadoop-daemon.sh start secondarynamenode即可

时间: 2024-10-14 11:37:51

添加 SecondaryNameNode的相关文章

hadoop中secondarynamenode节点添加方法

当时,hadoop已经安装成功,但是secondarynamenode没有启动 后来经过研究,原来是配置的目录有问题 首先修改一下shell文件 文件路径:/home/work/hadoop/bin 原来:master  现在:secondarynamenode [[email protected] bin]$ cat start-dfs.sh #!/usr/bin/env bash # Licensed to the Apache Software Foundation (ASF) under

Hadoop学习笔记—13.分布式集群中的动态添加与下架

开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与下架一个Hadoop节点. 一.实验环境结构 本次试验,我们构建的集群是一个主节点,三个从节点的结构,其中三个从节点的性能配置各不相同,这里我们主要在虚拟机中的内存设置这三个从节点分别为:512MB.512MB与256MB.首先,我们暂时只设置两个从节点,另外一个作为动态添加节点的时候使用.主节点与

SecondaryNamenode配置与NameNode故障恢复

一.配置 1. 在masters文件中添加 Secondary节点的主机名. *注:masters文件用于指定secondary的主机而不是namenode,slaves用于指定datanode和tasktracker, namenode由core-site.xml fs.default.name指定,jobtracker由mapred-site.xml mapred.job.tracker指定 2. 修改hdfs-site.xml文件 <property>      <name>

Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint

原先使用hadoop默认设置(hadoop1.2.1),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN.但是具体SNN备份的时间周期和log文件的大小无法定制,后来楼主就修改了SNN的设置,将fs.checkpoint.period修改为3600s,fs.checkpoint.size修改为64兆.在core-site.xml配置文件中添加这两个参数之后,却发现SNN总是无法备份.后来google查找发现还是配置文件没有配置完整造成的,修改配置

Hadoop学习笔记—13.分布式集群中节点的动态添加与下架

开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与下架一个Hadoop节点. 一.实验环境结构 本次试验,我们构建的集群是一个主节点,三个从节点的结构,其中三个从节点的性能配置各不相同,这里我们主要在虚拟机中的内存设置这三个从节点分别为:512MB.512MB与256MB.首先,我们暂时只设置两个从节点,另外一个作为动态添加节点的时候使用.主节点与

SecondaryNameNode作用

[TOC] 文档来自李德胜老师,下面有些地方加了一些自己的理解和备注. ? 在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一. ? 从它的名字上看,它给人的感觉就像是NameNode的备份.但它实际上却不是.很多Hadoop的初学者都很疑惑,Secondary NameNode究竟是做什么的,而且它为什么会出现在HDFS中.本文将解释下SecondaryNameNode在HDFS中所扮演的角色.从它的名字来看,你可能认为它跟NameNode有点关系.没错,你

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode(面试开发重点)

第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)第3章 HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O

Hadoop之HDFS(NameNode和SecondaryNameNode)(面试开发重点)

NameNode和SecondaryNameNode(面试开发重点) 1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了.因此产生在磁盘中备份元数据的FsImage. 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,

Win10下IIS配置、项目发布、添加网站

Win10下IIS配置 1.找到控制面板:[开始]菜单鼠标右击,打开[控制面板] 2.打开控制面板,点击[程序],点击[启用或关闭Windows功能] 下一步,点击[启用虎关闭Windows功能] 3. 开始修改IIS了,我是这样勾上的,有可能比较多. 4. 验证IIS是否正确安装,等待几分钟后IIS配置完成.在浏览器输入http://localhost/iisstart.htm会出现 IIS安装成功页面.第一次修改的时候出现了成功页面,但是后来删除了IIS中默认的网站就打不开了,但是不影响的.