HDFS元数据管理

NameNode将文件系统的元数据以不同的文件保存在本地磁盘中，其中最重要的两个文件是fsimage和edits。fsimage包含文件系统元数据的完整快照，而edits仅包含元数据的增量修改。

NameNode启动后，直接加载fsimage到RAM，再通过回放引入edits的增量变化。

NameNode与SecondaryNameNode之间交互定期将edits引入fsimage：

SecondaryNameNode引导NameNode滚动更新edits文件，并开始将新的内容写入edits.new
SecondaryNameNode将NameNode的fsimage和edtis文件复制到本地的检查点目录
SecondaryNameNode载入fsimage文件，回放edits内容，将其合并到fsimage，将新的fsimage文件压缩后写入磁盘
SecondaryNameNode将新的fsimage文件送回NameNode，NameNode在接收新的fsimage文件后直接加载和应用该文件
NameNode将edits.new更名为edits
默认情况下，该过程每小时执行一次，或者当NameNode的edits文件达到默认的64MB时也会被触发

时间： 2024-11-08 20:29:44

HDFS元数据管理的相关文章

【Hadoop】HDFS原理、元数据管理

1.HDFS原理 2.元数据管理原理

元数据管理器中存在错误。实例化来自文件“\\?\C:\Program Files\Microsoft SQL Server\MSAS11.MSSQLSERVER\OLAP\Data\Tfs_Analysis.0.db\vDimTestCaseOverlay.874.dim.xml”的元数据对象时出错。

一.发现问题启动SQLSERVER的数据分析服务失败查看系统日志错误如下: 双击错误后显示详细错误: 元数据管理器中存在错误. 实例化来自文件“\\?\C:\Program Files\Microsoft SQL Server\MSAS11.MSSQLSERVER\OLAP\Data\Tfs_Analysis.0.db\vDimTestCaseOverlay.874.dim.xml”的元数据对象时出错. 二.解决问题-数据库然后我手动尝试将“C:\Program Files\Microso

利用 yEd 软件做元数据管理

yEd Diagram editor 是我常用的 flow chart 制图工具, 另外我也用它画 ER 和 use case 图. 总结一下我喜欢 yEd 的原因:1. 出色的对齐功能2. 可随意拖动Node, 永远不用担心相连的 Edge 会自动断开连接3. 每个 Node 都自带一个Label, 加说明文字非常方便4. 每个 Edge 都自带一个Label, 加说明文字非常方便今天总结的是一个非常有价值的使用场景, 在数据仓库和大数据平台中, 数据表的关系很复杂,随着平台的不断建设, 到

元数据管理为什么最重要？

元数据管理到底有多重要?它和主数据管理.数据治理之间到底是怎样的关系?本文将讨论这些问题. 没有合适的元数据,大数据主数据管理就会失语.没有元数据,数据治理就没有语料.David Marco在他的<元数据仓储的构建与管理>一书中,对元数据给出了这样的定义:元数据是“所有系统.文档和流程中包含的所有数据的语境.是生数据的知识.”换句话说,如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值. 要想获得元数据的价值,需要根据建立的流程.在行业标准和最佳实践指导的范围内管

《BI项目笔记》SSAS部署时发生的问题——元数据管理器中存在错误解决办法

原文:<BI项目笔记>SSAS部署时发生的问题--元数据管理器中存在错误解决办法在生成和部署期间出错.是否继续?解决办法: 用Microsoft SQL Server Management Studio 连接Analysis Services 然后删除多维数据库,重新布署.这样就OK的.

Oracle Enterprise Metadata Management (简称OEMM，Oracle元数据管理)12.1.3.0.1已经发布

在数据处理及数据仓库建设中,元数据管理是必不可少的,OEMM可以解决元数据管理过程中各种关键业务问题和技术挑战,其中包括如何元数据的统计信息,了解变更数据之后对下游的影响范围,而且OEMM站在业务的角度在浏览器中进行展现,并且可以在报表中展现企业内完整的元数据信息,用于分析和改进元数据管理.OEMM针对客户迫切的需求建立一个轻量级的基于浏览器的管理工具,当前的版本是12.1.3.0.1. 使用OEMM 12.1.3.0.1,你会发现业务术语表的更新等功能,为用户界面带来更好的体验,同时对元数据改

基于TableStore的海量电商订单元数据管理

摘要: # 一.背景订单系统存在于各行各业,如电商订单.银行流水.运营商话费账单等,是一个非常广泛.通用的系统.对于这类系统,在过去十几年发展中已经形成了经典的做法.但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大. 一.背景订单系统存在于各行各业,如电商订单.银行流水.运营商话费账单等,是一个非常广泛.通用的系统.对于这类系统,在过去十几年发展中已经形成了经典的做法.但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大.数据的重视程度与

使用Atlas进行元数据管理之Atlas简介

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 0. 当我们谈论数据治理/元数据管理的时候,我们究竟在讨论什么? 谈到数据治理,自然离不开元数据.元数据(Metadata),用一句话定义就是:描述数

七、数据仓库元数据管理

原文:点击这里数据仓库元数据管理一.元数据的定义元数据(metadata) 即数据的数据,是描述数据仓库结构和数据仓库建立方法的数据,主要记录数据仓库中模型的定义.各层级间的映射关系.监控数据仓库的数据状态及ETL的任务运行状态.一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计.部署.操作和管理能达成协同和一致.. 元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据元数据按用途的不同分为两类