HADOOP 格式化 namenode节点 准备脚本

一般来说Live nodes 是 0
的情况是由于namenode和datanode中的clusterID号不同,诱因是因为重复格式化。如果不需要保存数据,直接重做的话,需要下面这些步骤。

ssh hd1 rm /home/hadoop/namenode/* -rf

ssh hd1 rm /home/hadoop/hdfs/* -rf

ssh hd2 rm /home/hadoop/hdfs/* -rf

ssh hd3 rm /home/hadoop/hdfs/* -rf

ssh hd4 rm /home/hadoop/hdfs/* -rf

ssh hd1 rm /home/hadoop/tmp/* -rf

ssh hd2 rm /home/hadoop/tmp/* -rf

ssh hd3 rm /home/hadoop/tmp/* -rf

ssh hd4 rm /home/hadoop/tmp/* -rf

ssh hd1 rm /home/hadoop/hadoop/logs/* -rf

ssh hd2 rm /home/hadoop/hadoop/logs/* -rf

ssh hd3 rm /home/hadoop/hadoop/logs/* -rf

ssh hd4 rm /home/hadoop/hadoop/logs/* -rf

全部做完后,就可以格式化了。

hadoop namenode -format

时间: 2024-12-26 18:43:09

HADOOP 格式化 namenode节点 准备脚本的相关文章

格式化namenode的命令

1.格式化namenode节点 hdfs namenode -format 2.注意点,格式化命令只能在指定的namenode节点上使用 3.格式化命令做了哪些操作?生成了fsimage文件,通过如下命令来查看格式化后的目录及文件 cd /opt/hadoop-2.5/ ls cd dfs/name/ ls cd current/ ls

在Hadoop集群实施成功后再次格式化名称节点,datanode无法加入集群的处理办法

格式化namenode后,通过jps可发现datanode没有启动成功,查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log,可以发现是namespaceid不对. 解决办法: 1.查看namenode上hadoop.tmp.dir参数路径 /usr/hadoop-tmp/dfs/name/current/VERSION中的namespaceid: 2.在其他数据节点上修改上dfs.dat

Hadoop集群实施成功后,再次格式化名称节点

Hadoop集群实施成功后,再次格式化名称节点. 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 1.格式化之前hadoop集群正常. [[email protected] hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8017 JobTracker9983 Jps [[email protected] ~]$ jps5384 DataNode6592 Jps5474 TaskTracker 2.关闭集

Hadoop的多节点集群启动,唯独没有namenode进程?(血淋淋教训,一定拍快照)

前言 大家在搭建hadoop集群时,第一次格式化后,一路要做好快照.别随便动不动缺少什么进程,就来个格式化. 问题描述:启动hadoop时报namenode未初始化:java.io.IOException: NameNode is not formatted. 同时,若单独启动namenode,则出现,启动后一会儿,自行又消失的情况. 2.访问HadoopMaster:50070失败,说明namenode启动失败 解决办法:初始化namenode 提示是否重新初始化namenode,于是输入Y.

重新格式化hadoop的namenode导致datanode无法启动的最简单解决办法

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8

hadoop之为什么不能一直格式化namenode

格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往数据,所以,格式化NameNode前,先关闭掉NameNode和DataNode,然后一定要删除data数据和log日志.最后再进行格式化. 在hadoop-2.9.2/data/tmp/dfs/name/current/VERSION中可查到NameNode标识id 在hadoop-2.9.2/data/tmp/dfs/data/current/VERSION中可查到DataNode

hadoop配置名称节点HA基本流程

hadoop配置HA(NN) 配置信息参考hadoop配置名称节点HA原理 1.停止所有进程 stop-dfs.sh 2.配置hdfs-site.xml和core-site.xml 3.将s201的id_rsa发送到s205(确保两个NN能同时ssh到各个DN) 4.将s201的工作目录复制到s205 5.启动服务journalnode hadoop-daemons.sh start journalnode 6.初始化journalnode hdfs namenode -initializeSh

Hadoop恢复namenode数据

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可: 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令 rm -rf data rm -rf name #存储namenode永久性元数据目录 当时还不知道删除这个的可怕,以为只是误删除了普通数据而已,然后再转到datanode下再次执行删

格式化namenode,造成无法启动datanode

一个常见的问题:格式化namenode,造成无法启动datanode的问题. 问题描述: 无法启动datanode,查看日志,datanote尝试n次启动无效后,会出现这个语句 INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz... 解决办法: 1.先清空tmp目录下的所有文件.因为每次namenode format会重新创建一个namenodeId,而tmp/d