Hadoop的多节点集群启动,唯独没有namenode进程?(血淋淋教训,一定拍快照)

  前言

    大家在搭建hadoop集群时,第一次格式化后,一路要做好快照。别随便动不动缺少什么进程,就来个格式化。

  问题描述:启动hadoop时报namenode未初始化:java.io.IOException: NameNode is not formatted.

       同时,若单独启动namenode,则出现,启动后一会儿,自行又消失的情况。

  2、访问HadoopMaster:50070失败,说明namenode启动失败

  解决办法:初始化namenode

  提示是否重新初始化namenode,于是输入Y。

[[email protected] hadoop-2.6.0]$ pwd
/home/hadoop/app/hadoop-2.6.0
[[email protected] hadoop-2.6.0]$ bin/hadoop namenode -format

  

  关闭,再重启

[[email protected] hadoop-2.6.0]$ pwd
/home/hadoop/app/hadoop-2.6.0
[[email protected] hadoop-2.6.0]$ sbin/stop-all.sh
[[email protected] hadoop-2.6.0]$ sbin/start-all.sh

  导致,最后什么都没了。这是我给大家带来的一个亲身血淋淋教训。最后,再次说明,一定要拍快照!!!

时间: 2024-10-11 04:32:15

Hadoop的多节点集群启动,唯独没有namenode进程?(血淋淋教训,一定拍快照)的相关文章

格式化hdfs后,hadoop集群启动hdfs,namenode启动成功,datanode未启动

集群格式化hdfs后,在主节点运行启动hdfs后,发现namenode启动了,而datanode没有启动,在其他节点上jps后没有datanode进程!原因: 当我们使用hdfs namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,而datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID,刚好有进行了一次格式化,在namen

Hadoop集群启动之后,datanode节点未正常启动的问题

Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示 master的进程: 两个slave的节点进程 发现salve节点上竟然没有datanode进程. 查看了日志,发现有这样一句话: 这句话的意思是:datanode上的data目录权限是765,而期望权限是755,所以使用chmod 755 data命令,将目录权限改为755. 再次重启hadoop集群,发现datanode节点已经正常启动.

Hadoop多节点集群安装配置

目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有Salve 3.Java环境安装 3.1 安装JDK 3.2 配置环境变量 3.3 验证安装成功 3.4 安装剩余机器 4.Hadoop集群安装 4.1 安装hadoop 4.2 配置hadoop 4.3 启动及验证 4.4 网页查看集群 5.常见问题FAQ   5.1 关于 Warning: $H

HBase的多节点集群详细启动步骤(3或5节点)(分为Zookeeper自带还是外装)

HBase的多节点集群详细启动步骤(3或5节点)分为: 1.HBASE_MANAGES_ZK的默认值是false(zookeeper外装)(推荐) 2.HBASE_MANAGES_ZK的默认值是true(zookeeper自带) 1.HBASE_MANAGES_ZK的默认值是false(推荐) 伪分布模式下,如(weekend110) hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为单

Hadoop集群启动、初体验

1. 启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群.注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的.hdfs namenode–format或者hadoop namenode –format1.1. 单节点逐个启动在主节点上使用以下命令启动HDFS NameNode:hadoop-daemon.sh start namenode在每个从节点上使用以下命令启动HDFS DataNode:hadoop-dae

hadoop集群启动ssh免密登录

1.hadoop对hdfs集群的管理提供两种脚本 hadoop-daemons.sh 本地启动脚本:对集群中的单个节点操作 start-dfs.sh 集群启动脚本:对集群中所有节点统一操作 2.SSH免密登录(防止集群登录超时) ①生成公私钥 1 ssh-keygen -t rsa 在用户目录下有个.ssh文件(隐藏文件),添加authorized_keys文本,将生成的公钥内容重定向(>>)到该文件中. ②直接使用如下命令,可以看到.ssh文件中自动生成了authorized_keys授信文

CentOS 6.7安装Hadoop 2.6.3集群环境

在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境,并在DigitalOcean上测试成功. 本文假设: 主节点(NameNode)域名(主机名):m.fredlab.org 子节点(DataNode)域名(主机名):s1.fredlab.org s2.fredlab.org s3.fredlab.org 一.配置SSH互信 1.master机上生成公私钥:id_rsa和id_rsa.pub ssh-keygen 2.上传到每个节点机器的.ssh/目录下 .ssh/---

说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别

这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的lib下(我这里是/home/hadoop/app/hive-1.2.1/lib)存放了mysql-connector-java-5.1.21.jar. 我的mysql,是用root用户安装的,在/home/hadoop/app目录,所以,启动也得在此目录下. 对于djt002,我的mysql是roo

CentOS 6.5 搭建Hadoop 1.2.1集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1.操作系统环境配置 1.1.操作系统环境 主机名 IP地址 角色 Hadoop用户 hadoop-master 192.168.30.50 Hadoop主节点 hadoop hadoop-slave01 192.168.30.51 Hadoop从节点 hadoop hadoop-slave02 192.168.30.52 Hadoop从节点 hadoop 1.2.关闭防火