HADOOP HA 踩坑 - 所有 namenode 都是standby

报错:

无明显报错

状况:

所有namenode都是standby,即ZK服务未生效

尝试一:手动强制转化某个namenode为active

操作:在某台namenode上,执行 hdfs haadmin -transitionToActive --forcemanual nn1 (nn1是你的某台nameservice-id)

结果:nn1被成功转为active。但是在stop-dfs.sh后再一次start-dfs.sh后,所有namenode仍然都是standby

结论:果然因该是ZK的问题

尝试二:初始化ZK

操作:在某台namenode上,执行 hdfs zkfc -formatZK

结果:重新 start-dfs.sh后,一切正常

原文地址:https://www.cnblogs.com/PigeonNoir/p/9118003.html

时间: 2024-10-09 22:39:18

HADOOP HA 踩坑 - 所有 namenode 都是standby的相关文章

Hadoop编程踩坑

Hadoop踩坑 在hadoop所有组件编程中,遇到在Windows下运行程序出现 1 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 2 at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356) 3 at org.apache.hadoop.util.Shell.getWinU

hadoop安装踩坑

切记!!!!! 没有比官网教程更详细,更靠谱的教程!!!!! 其他的基本都是官网的翻译,但是官网的教程是实时更新的,要是不注意版本,坑根本就踩不完!!! 附上官网部署教程: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 单节点的安装只需要关注两个点: 1.linux安装的java版本,各个版本的hadoop对java版本是要求的,具体信息如下: https://

Ubuntu搭建Hadoop的踩坑之旅(三)

之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程,本来这篇文章是打算介绍搭建伪分布式集群的.但是后来想想反正伪分布式和完全分布式差不多,所幸直接介绍完全分布式了. 如果你想自己搭建伪分布式玩的话,参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 这一篇主要参考这篇文章:Hadoop2.6.0安装 - 集群(搭建的过程中没截图,大家可以到原博客看) 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Window

Hadoop EC 踩坑 :data block 缺失导致的 HDFS 传输速率下降

环境:hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况:某天,往 HDFS 上日常 put 业务数据时,发现传输速率严重下降 分析: 检查集群发现,在之前的传输中,发生过个别 datanode 临时不可用的状况. 而由于 hadoop EC 机制,当失效 datanode 小于容忍值 (这里是3),put 等传输任务仍然成功.但 hadoop 当时会报错,用于提示程序员,这个报错不会影响当此传输任务,故 put 等传输请求会返回成功.然后,缺失的 dat

两个NameNode都为StandBy模式

报错如下: 解决办法: /usr/bin/Zookeeper-client.sh ls / rmr /hadoop-ha 重新hdfs zkfc –formatZK , 并添加配置:

HADOOP HA部署

本次部署haddoop集群三台hostname:HBASE01 HBASE02 HBASE03 192.168.240.129 HBASE01 192.168.240.130 HBASE02 192.168.240.131 HBASE03 将HBASE01 HBASE02作为namenode节点,HBASE01.HBASE02.HBASE03作为datanode节点 一. namenode ha配置 1.hdfs-site.xml <?xml version="1.0"?>

项目管理如何才能不踩坑?

在项目管理过程中,由于需求的变化,项目总是具有不确定性.易变性,踩坑对于项目管理工作者来说是家常便饭,甚至可以说,项目管理工作者的大部分工作时间都是在填坑. 项目频繁掉"坑",抱怨和撂挑子只能爽一时,后续该做的事同样一个都跑不了.积极面对.冷静分析.借助资源和工具才是正确的应对方法.等你把遇到的坑都成功填上,你会发现,你的填坑力其实就是你的竞争力.下面就跟大家分析一些项目管理过程中常见的"坑",以及如何避免"踩坑". 一.项目管理有哪些坑? 项目

Apache Hadoop集群安装(NameNode HA + SPARK + 机架感知)

1.主机规划 序号 主机名 IP地址 角色 1 nn-1 192.168.9.21 NameNode.mr-jobhistory.zookeeper.JournalNode 2 nn-2 192.168.9.22 Secondary NameNode.JournalNode 3 dn-1 192.168.9.23 DataNode.JournalNode.zookeeper.ResourceManager.NodeManager 4 dn-2 192.168.9.24 DataNode.zook

hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改 usr/local/hadoop 是我存放hadoop文件夹的地方 几个关于namenode的重要文