【TODO】模拟namenode崩溃并恢复

TODO: 还有没搞清楚的地方。

1、为了方便演示,先做好namenode检查点的配置。见控制namenode检查点发生的频率

2、启动hadoop,保证所有节点都正常。

3、将namenode节点上dfs.name.dir 指定目录(即 name 目录)中的内容全部删除,以模拟故障发生情况。

4、关闭hadoop,jps查看,发现namenode没有启动成功。

  • 查看namenode节点的$HADOOOP_HOME/logs/目录下namenode的日志,发现异常:java.io.IOException: NameNode is not formated。
  • 同时,查看hdfs上的目录及文件情况,ls后发现报错

5、关闭hadoop,重新格式化namenode

6、进入namenode节点的上dfs.name.dir 指定目录(即 name 目录),发现已经生成了新的内容。编辑current中的VERSION。将namespaceID的值改为集群中任一datanode中的namespaceID(即原来的值)

7、删除current中新生成的fsimage

8、将secondarynamenode的fsimage拷贝过来。

注意:我拷贝的是namesecondary/image/目录下的。网上有资料说是namesecondary/current下的,但我的current中并没有内容。

9、启动hadoop

10、启动完毕发现一切正常了。

【TODO】模拟namenode崩溃并恢复

时间: 2024-10-12 20:23:30

【TODO】模拟namenode崩溃并恢复的相关文章

冷备下模拟rm -rf *.dbf恢复案例

关于备份恢复一直是所有关系型数据库的重头戏.下面会介绍冷备数据库,并模拟破坏数据文件进行恢复数据库,并涉及到其他相关内容. [[email protected] ~]$ cat /etc/redhat-release Red Hat Enterprise Linux Server release 5.5 (Tikanga) SQL> select * from v$version where rownum<2; BANNER ----------------------------------

记一次数据库崩溃的恢复

NEC集群,其中db-2操作系统出现异常,无法点击操作.重启同步主备数据库后,发现数据库出现异常,客户端无法连接,报错:ORA-01033.ORA-00600等. 经分析,是由于操作系统出现异常后强制重启导致数据库损坏.现已通过如下命令回复正常: 1.select status,checkpoint_change#,checkpoint_time, resetlogs_change#, resetlogs_time, count(*), fuzzy from v$datafile_header

通过secondary namenode恢复崩溃的namenode

模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode. 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 1.进入name目录下,删除name目录内容. [[email protected] name]$ pwd/home/huser/hadoop/tmp/dfs/name [[email protected] name]$ lldrwxrwxr-x 2 huser huser 4096 4月 1

ORACLE数据库文件丢失后的恢复测试

一.测试环境 数据库版本是11GR2,在做完一份完全备份之后,关机,做一份快照,每一次开机之后都执行数次alter system switch logfile以产生归档日志. 之后的测试都是基于这么一个完全备份来恢复. CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '/backup/%F'; backup incremental level 0 format '/backup/%T_%f' database; 二.

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

那么NN、DN、JT、TT的问题来了。。。。

首先,今天是羊年初一.祝看到这篇博文的朋友们新春快乐!身体健康!心想事成!万事胜意! 言归正传.hadoop中的两大核心分别是HDFS以及MapReduce.HDFS分布式文件系统有NameNode.DataNode以及SecondaryNameNode三种节点进程,同时MR有JobTracker和TaskTracker两种节点进程.(当然这是基于hadoop 1.x版本来讨论的,至于2.x的NameNode联邦和YARN的话,我们下次再讨论) 对于HDFS文件系统,NN 是负责文件系统管理,包

HDFS中NameNode发生故障没有备份从SecondNameNode恢复

1.Secondary NameNode目录结构 Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照. 在/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/current这个目录中查看SecondaryNameNode目录结构. edits_0000000000000000001-0000000000000000002 fsimage_0000000000000000002 fsima

MySQL崩溃恢复过程常见错误分析

最近在和一个同事争论MySQL崩溃恢复中的一些常见错误时出现了一些分歧,他认为一些参数的设置会导致MySQL出现崩溃后恢复不起来的问题,但对此,我却不认同,虽然一些参数的设定会导致数据丢失,但应该不会引起数据库崩溃之后无法恢复的情况,因此,就想整理出MySQL崩溃恢复的过程来加深学习! 图一 mysql WAL过程 在正常情况下,数据写入会先写入redo_buffer_pool,然后在写入redo_log_file,这中间如果由于参数设置不当,可能会发生丢失,但不影响主机的崩溃恢复,但有以下两种

恢复计算机崩溃数据的五款最佳Linux发行版

嗨,Linux 新手们!你们在尝试运行命令时有没有搞坏过计算机系统?我相信你们有过这种经历.这一幕经常发生:你想尝试运行命令,或者安装测试更新版,结果下一次重启时计算机就崩溃了.我在本文将逐一介绍五款扮演 Linux 数据恢复工具的 Linux 发行版.咱们开始吧! 最烦人的事情之一莫过于系统崩溃.你尝试运行某个命令,重启后,却根本看不到登录画面.只有光标闪烁的黑屏. 这一幕不仅出现在 Linux,还出现在 Windows 及市面上的其他任何一款操作系统.这时候最重要的事情就是恢复文件.你平时不