Hadoop根据SecondaryNameNode恢复NameNode

1.制造NameNode宕机的情况

1.1):kill 掉NameNode的进程

[plain] view plaincopy

  1. [[email protected] bin]$ kill -9 13481

1.2):删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name

[plain] view plaincopy

  1. current  image  in_use.lock  previous.checkpoint
  2. [[email protected] name]$ rm -rf *

注:是删除name目录下的所有内容,但是必须保证name这个目录是存在的。

1.3):从SecondaryNameNode元数据namesecondary目录下复制到NameNode name目录下。

我的Secondary NameNode目录:

[plain] view plaincopy

  1. /home/hadoop/tmp/dfs/namesecondary

复制过程:

[plain] view plaincopy

  1. [[email protected] name]$ cp -R /home/hadoop/tmp/dfs/namesecondary/* .

1.4):启动NameNode

[plain] view plaincopy

  1. [[email protected] bin]$ ./hadoop-daemon.sh start namenode

1.5):检查

使用hadoop fsck /user命令减产文件爱你Block的完整性

[plain] view plaincopy

  1. <font size="2">[[email protected] bin]$ hadoop fsck /</font>
  2. Warning: $HADOOP_HOME is deprecated.
  3. FSCK started by hadoop from /192.168.0.101 for path / at Sun Dec 22 23:04:31 CST 2013
  4. ...................................
  5. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0001/job.jar:  Under replicated blk_-8571652065964704775_1020. Target Replicas is 10 but found 1 replica(s).
  6. .
  7. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0002/job.jar:  Under replicated blk_-5947701456602696019_1021. Target Replicas is 10 but found 1 replica(s).
  8. .
  9. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0003/job.jar:  Under replicated blk_8214183112681524571_1022. Target Replicas is 10 but found 1 replica(s).
  10. .
  11. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0001/job.jar:  Under replicated blk_4805420250921446015_1024. Target Replicas is 10 but found 1 replica(s).
  12. .
  13. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0002/job.jar:  Under replicated blk_7913185784171356584_1027. Target Replicas is 10 but found 1 replica(s).
  14. .
  15. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0004/job.jar:  Under replicated blk_-8411847042533891069_1035. Target Replicas is 10 but found 1 replica(s).
  16. .
  17. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0005/job.jar:  Under replicated blk_2163772543235273521_1036. Target Replicas is 10 but found 1 replica(s).
  18. .
  19. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0007/job.jar:  Under replicated blk_-3491660194168043022_1044. Target Replicas is 10 but found 1 replica(s).
  20. .
  21. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0002/job.jar:  Under replicated blk_5280511346594851641_1270. Target Replicas is 10 but found 1 replica(s).
  22. .
  23. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0003/job.jar:  Under replicated blk_5588149584508213931_1271. Target Replicas is 10 but found 1 replica(s).
  24. .
  25. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0004/job.jar:  Under replicated blk_-1846184614352398688_1272. Target Replicas is 10 but found 1 replica(s).
  26. .
  27. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0005/job.jar:  Under replicated blk_8253537375261552577_1273. Target Replicas is 10 but found 1 replica(s).
  28. .
  29. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0001/job.jar:  Under replicated blk_-6858089306760733073_1275. Target Replicas is 10 but found 1 replica(s).
  30. .
  31. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0002/job.jar:  Under replicated blk_-630176777256891004_1276. Target Replicas is 10 but found 1 replica(s).
  32. .
  33. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0003/job.jar:  Under replicated blk_3453389521553623867_1277. Target Replicas is 10 but found 1 replica(s).
  34. .
  35. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0004/job.jar:  Under replicated blk_-4262000880964323956_1278. Target Replicas is 10 but found 1 replica(s).
  36. .
  37. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0001/job.jar:  Under replicated blk_-5324801167724976561_1280. Target Replicas is 10 but found 1 replica(s).
  38. .
  39. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0002/job.jar:  Under replicated blk_3284342834321881345_1281. Target Replicas is 10 but found 1 replica(s).
  40. .
  41. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0004/job.jar:  Under replicated blk_5174401550469241860_1295. Target Replicas is 10 but found 1 replica(s).
  42. .
  43. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0009/job.jar:  Under replicated blk_6390129220783606015_1327. Target Replicas is 10 but found 1 replica(s).
  44. .
  45. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0010/job.jar:  Under replicated blk_8995477665353821346_1328. Target Replicas is 10 but found 1 replica(s).
  46. .
  47. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201311292212_0007/job.jar:  Under replicated blk_-6447241034801532571_1699. Target Replicas is 10 but found 1 replica(s).
  48. .
  49. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0001/job.jar:  Under replicated blk_-187920261151639503_1741. Target Replicas is 10 but found 1 replica(s).
  50. .
  51. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0002/job.jar:  Under replicated blk_1912732980088631445_1742. Target Replicas is 10 but found 1 replica(s).
  52. .
  53. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312092348_0001/job.jar:  Under replicated blk_448639237400606735_1953. Target Replicas is 10 but found 1 replica(s).
  54. .
  55. /home/hadoop/tmp/mapred/system/jobtracker.info: CORRUPT block blk_-4973841422235657473
  56. /home/hadoop/tmp/mapred/system/jobtracker.info: MISSING 1 blocks of total size 4 B.Status: CORRUPT
  57. Total size:        367257 B
  58. Total dirs:        83
  59. Total files:        60
  60. Total blocks (validated):        57 (avg. block size 6443 B)
  61. ********************************
  62. CORRUPT FILES:        1
  63. MISSING BLOCKS:        1
  64. MISSING SIZE:                4 B
  65. CORRUPT BLOCKS:         1
  66. ********************************
  67. Minimally replicated blocks:        56 (98.24561 %)
  68. Over-replicated blocks:        0 (0.0 %)
  69. Under-replicated blocks:        25 (43.85965 %)
  70. Mis-replicated blocks:                0 (0.0 %)
  71. Default replication factor:        1
  72. Average block replication:        0.98245615
  73. Corrupt blocks:                1
  74. Missing replicas:                225 (401.7857 %)
  75. Number of data-nodes:                1
  76. Number of racks:                1
  77. FSCK ended at Sun Dec 22 23:04:31 CST 2013 in 89 milliseconds

搞定收工!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

时间: 2024-12-13 14:46:04

Hadoop根据SecondaryNameNode恢复NameNode的相关文章

hadoop 根据SecondaryNameNode恢复Namenode

制造namenode宕机的情况 1) kill 掉namenode的进程 [[email protected] bin]$ kill -9 13481 2)删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name. current  image  in_use.lock  previous.checkpoint [[email protected] name]$ rm -rf * 删除name目录下的所有内容,但是必须保证name这个目录是存在的 3)从se

hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改 usr/local/hadoop 是我存放hadoop文件夹的地方 几个关于namenode的重要文

hadoop中HDFS的NameNode原理

1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等. 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的Active NameNode(用以存放文件目录树,权限设置,副本数设置等),它会在指定目录下创建一个新的文件对象,比如access_20180101.log 至于具体数据,它会将它拆分后进行分布式存储,分散在各个DataNode节点,且默认都会

Hadoop恢复namenode数据

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可: 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令 rm -rf data rm -rf name #存储namenode永久性元数据目录 当时还不知道删除这个的可怕,以为只是误删除了普通数据而已,然后再转到datanode下再次执行删

配置SecondaryNameNode和NameNode分离

环境:Hadoop1.2.1 配置SecondaryNameNode节点 [[email protected] hadoop-1.2.1]$ cat ./conf/masters hadoop2 配置NameNode节点.同步检查时间 [[email protected] hadoop-1.2.1]$ cat ./conf/core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl&

hadoop datanode 不能连接 namenode

start-dfs.sh进程都启动成功master:65456 Jps64881 NameNode65057 DataNode 7380 NodeManager 65276 SecondaryNameNodeslave:3607 DataNode 7380 NodeManager3675 Jps hadoop下:slaves文件设置:masterslave1slave2----------------------------------------------netstat -anp|grep

hadoop中secondarynamenode节点添加方法

当时,hadoop已经安装成功,但是secondarynamenode没有启动 后来经过研究,原来是配置的目录有问题 首先修改一下shell文件 文件路径:/home/work/hadoop/bin 原来:master  现在:secondarynamenode [[email protected] bin]$ cat start-dfs.sh #!/usr/bin/env bash # Licensed to the Apache Software Foundation (ASF) under

[原创]Hadoop默认设置导致NameNode启动失败一例

看到市面上很多书在讲解Hadoop的时候都轻描淡写的提到了HDFS的设置问题.大多采取的是默认设置,最多也就是设置一些副本数量之类. 笔者在工作中遇到了这样一种情况:每次重启系统之后,NameNode就会消失. 重新尝试下面的命令: hdfs namenode –format sbin/start-all.sh 这样确实能够恢复Hadoop的运行,但是HDFS上面的数据会全部丢失.这显然不是我们想看到的. 仔细查找官方文档,发现hdfs-site.xml里面包含了HDFS的默认工作路径,竟然指向

Hadoop中SecondaryNameNode工作机制

首先来看一下HDFS的结构,如下图: 如上图,在HDFS架构中,NameNode是职责是管理元数据信息,DataNode的职责是负责数据存储,那么SecondaryNameNode的作用是什么呢? 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案,下面我们来看一下SecondaryNameNode工作的流程,如下图: 1.NameNode管理着元数据信息,元数据信息会定期的刷到磁盘中,其中的两个文件是edits即操作日志文件和fsimage即元数据镜像文件