配置SecondaryNameNode和NameNode分离

环境:Hadoop1.2.1

配置SecondaryNameNode节点

[[email protected] hadoop-1.2.1]$ cat ./conf/masters
hadoop2

配置NameNode节点、同步检查时间

[[email protected] hadoop-1.2.1]$ cat ./conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.checkpoint.period</name>
<value>20</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop-1.2.1/tmp</value>
</property>
</configuration>

配置 dfs.http.address,如果不配置,secondary namenode同步文件夹永远为空

[[email protected] hadoop-1.2.1]$ cat ./conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.http.address</name>
<value>hadoop1:50070</value> <!-- your namenode ip -->
<description>
The address and the base port where the dfs namenode web ui will listen on.If the port is 0 then the server will start on a free port.
</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

时间: 2025-01-12 19:17:57

配置SecondaryNameNode和NameNode分离的相关文章

secondary namenode和namenode分离

namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上. 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode.决定谁是namenode的配置是core-site.xml中的fs.default.name这个参数.master中记录secondnamenode的IP或主机名,可以同时配置多个secondnamenode. 1.修改m

配置SecondaryNameNode

refer to http://www.cnblogs.com/Richardzhu/p/3435568.html 一.SecondaryNameNode概念: 光从字面上来理解,很容易让一些初学者先入为主:SecondaryNameNode(snn)就是NameNode(nn)的热备进程.其实不是.ssn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间

Mysql主从配置,实现读写分离

大型网站为了软解大量的并发访问,除了在网站实现分布式负载均衡,远远不够.到了数据业务层.数据访问层,如果还是传统的数据结构,或者只是单单靠一台服务器扛,如此多的数据库连接操作,数据库必然会崩溃,数据丢失的话,后果更是 不堪设想.这时候,我们会考虑如何减少数据库的联接,一方面采用优秀的代码框架,进行代码的优化,采用优秀的数据缓存技术如:memcached,如果资金丰厚的话,必然会想到假设服务器群,来分担主数据库的压力.Ok切入今天微博主题,利用MySQL主从配置,实现读写分离,减轻数据库压力.这种

MySQL主从配置及实现读写分离

大型网站为了软解大量的并发访问,除了在网站实现分布式负载均衡,远远不够.到了数据业务层.数据访问层,如果还是传统的数据结构,或者只是单单靠一台服务器扛,如此多的数据库连接操作,数据库必然会崩溃,数据丢失的话,后果更是 不堪设想.这时候,我们会考虑如何减少数据库的联接,一方面采用优秀的代码框架,进行代码的优化,采用优秀的数据缓存技术如:memcached,如果资金丰厚的话,必然会想到假设服务器群,来分担主数据库的压力.Ok切入今天主题,利用MySQL数据库主从配置,实现读写分离,减轻数据库压力.这

Service系统服务(六):rsync基本用法、rsync+SSH同步、配置rsync服务端、访问rsync共享资源、使用inotifywait工具、配置Web镜像同步、配置并验证Split分离解析

一.rsync基本用法 目标: 本例要求掌握远程同步的基本操作,使用rsync命令完成下列任务: 1> 将目录 /boot 同步到目录 /todir 下   2> 将目录 /boot 下的文档同步到目录 /todir 下   3> 在目录 /boot 下新增文件 a.txt,删除 /todir 下的子目录 grub2,再次同步使 /todir 与 /boot 一致   4> 验证 -a.-n.-v.--delete 选项的含义 方案: 本地同步操作: rsync [选项...] 本

配置并验证Split分离解析

TopNSD SERVICES DAY03 案例1:配置并验证Split分离解析 案例2:查看进程信息 案例3:进程调度及终止 案例4:系统日志分析 1 案例1:配置并验证Split分离解析1.1 问题 本例要求配置一台智能DNS服务器,针对同一个FQDN,当不同的客户机来查询时能够给出不同的答案.需要完成下列任务: 从主机192.168.4.207查询时,结果为:www.tedu.cn ---> 192.168.4.100 从其他客户端查询时,www.tedu.cn ---> 1.2.3.4

localStorage + 配置url 前后端分离之前端先行

关于localStorage和sessionStorage的基础说明说明网上一大堆,这里说下自己的一个亲身应用. 使用localStorage配置url,使前端代码更方便适配测试和真实环境: 大家都知道如果前后端分离的话,往往很多时候可以前端先行,不依赖于后台(接口得提前定义好). 但是存在两个问题: 1.前后端分离后前端虽然不依赖于后台,但是依赖ajax返回的结果 2.往往自己造的mock地址跟真是环境的url地址不一致,如果写死了,则需要改动很大一片 先说第二个问题,之前在一个项目上看到的时

Spring配置动态数据源-读写分离和多数据源

在现在互联网系统中,随着用户量的增长,单数据源通常无法满足系统的负载要求.因此为了解决用户量增长带来的压力,在数据库层面会采用读写分离技术和数据库拆分等技术.读写分离就是就是一个Master数据库,多个Slave数据库,Master数据库负责数据的写操作,slave库负责数据读操作,通过slave库来降低Master库的负载.因为在实际的应用中,数据库都是读多写少(读取数据的频率高,更新数据的频率相对较少),而读取数据通常耗时比较长,占用数据库服务器的CPU较多,从而影响用户体验.我们通常的做法

hadoop 根据SecondaryNameNode恢复Namenode

制造namenode宕机的情况 1) kill 掉namenode的进程 [[email protected] bin]$ kill -9 13481 2)删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name. current  image  in_use.lock  previous.checkpoint [[email protected] name]$ rm -rf * 删除name目录下的所有内容,但是必须保证name这个目录是存在的 3)从se