分布式文件系统,独立mds与无独立mds优缺点比较

文件系统中metadata是一个关键元素,每一个分布式文件系统的核心所在就是mds的设计。

类似HDFS,Clustre,FastDFS等等分布式文件系统采用的是独立的mds架构,Ceph采用的是讲mds也分布开的设计架构,Gluster的设计是将metadata跟数据文件结合方式来存储,基本上只存跟本地文件有关的metadata消息。下面将Gluster作为无独立mds的代表来评价。

本文是自己个人对于独立的mds与无独立mds的一些比较,欢迎大家来讨论。

独立的mds做得好,相对于Gluster这种无独立的mds,会有如下的优点:

首先,遍历操作会比Gluster遍历会快很多,mds可以灵活集中的将目录树存储起来,查询时候基本上就可以只找其中的内容就好。

其次,对于小文件或者有些应用场景对metadata查询多,对实际文件操作不一定多得场景(rename,stat等操作较多),可以有针对性加速,而且可以初步实现查询跟读写io分离的方式。

另外,易于实现分块,去重等功能实现,mds可以记录每一个数据块的位置,并且可以记录每一个数据块的特征值(如hash等),对于去重操作可以简单的在mds内部记录数据块的位置,从而可以达到不同文件的相同数据块指向同样的数据块位置。

也会有如下缺点:

首先,mds的性能有可能成为整个分布式文件系统的容量和性能瓶颈。在存储规模上去的时候,需要同样增加mds的数量,存储规模上去,metadata数量也相应增加,需要增大mds的规模。就会引进新的问题。

其次,mds的数据安全。metadata信息丢失的话,整个集群的存储都会瘫痪,所有数据将不可用。因此,mds本身需要进行高可用的设计,这边又将引进一些数据不一致时的仲裁问题,集群锁等问题(mds之间的同步问题)。

另外,数据跟metadata之间的同步问题也需要考虑。

时间: 2024-08-04 09:18:54

分布式文件系统,独立mds与无独立mds优缺点比较的相关文章

[转]Caffe安装过程记录(CentOS,无独立显卡,无GPU)

Caffe安装过程记录(CentOS,无独立显卡,无GPU) 原文地址:http://www.aiuxian.com/article/p-2410195.html 参考资料: http://www.tuicool.com/articles/uiuA3e Caffe 安装配置(CentOS + 无GPU) http://blog.sina.com.cn/s/blog_990865340102vewt.html caffe 安装配置(CentOS 6.5 + 无GPU) http://www.cnb

Ceph:一种可扩展,高性能的分布式文件系统

摘要 我们开发了 Ceph,一种分布式文件系统.该文件系统提供极佳的性能,可靠性以及扩展性.通过专为不可靠的对象存储设备(Object Storage Device,OSDs)所组成的异构.动态集群而设计的准随机数据分配算法(CRUSH),利用其替代文件分配表,Ceph 将数据与元数据进行了最大程度地分离.通过将数据分布,失效检测恢复指定给运行特殊本地对象文件系统的半自动化的OSDs的方式来使设备具备智能性.而动态的分布式元数据集群,为各种通用目以及科学计算文件系统工作负载提供了无逢自适应,且高

架构设计:系统存储(30)——分布式文件系统Ceph(RADOS结构)

=============================== (接上文<架构设计:系统存储(29)--分布式文件系统Ceph(管理)>) 4. Ceph顶层架构总览 此图来源于官网,很多网络上的资料也引用了这张图,但是并没有讲清楚出现在图中的和没有出现在图中的(但同样重要的)几个名词到底是什么含义,例如,RADOS.LIBRADOS.RADOSGW.RDB.CEPH FS.MON.OSD.MDS等等.读者要搞清楚Ceph的顶层架构,就首先要搞清楚这些名词代表的技术意义,以及这些技术的在Cep

架构设计:系统存储(28)——分布式文件系统Ceph(挂载)

(接上文<架构设计:系统存储(27)--分布式文件系统Ceph(安装)>) 3. 连接到Ceph系统 3-1. 连接客户端 完毕Ceph文件系统的创建过程后.就能够让客户端连接过去. Ceph支持两种客户端挂载方式:使用Linux内核支持的mount命令进行的挂载方式.使用用户空间文件系统FUSE(Filesystem in Userspace)进行的网络磁盘挂载方式. 这两种挂载方式的本质差别是,前者须要有Linux内核的支持.而后者仅仅是工作在Linux上的一个应用软件. 3-1-1. 使

架构设计:系统存储(27)——分布式文件系统Ceph(安装)

1. 概述 从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装.基本使用场景.常用管理命令和重要工作原理.特别是讨论了PaxOS算法的基本理后,就更容易理解Ceph分布式文件系统中各种角色的工作原理. 2. Ceph的安装部署 本文将介绍Ceph分布式文件系统如何在CentOS 7.X版本上一步一步完成安装,使读者在阅读过程中了解Ceph有哪些重要的子系统/工作模块,以及它们是如何关联工作的.请注意Ceph在Ubuntu等Linux操作系统上的安装过程和注意点大致相

分布式文件系统---GlusterFS介绍

GlusterFS概述 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够 支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提 供优异的性能. GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端,如图2所

分布式文件系统元数据服务模型[转]

随着非结构化数据的爆炸,分布式文件系统进入了发展的黄金时期,从高性能计算到数据中心,从数据共享到互联网应用,已经渗透到数据应用的各方各面.对于大多数分布式文件系统(或集群文件系统,或并行文件系统)而言,通常将元数据与数据两者独立开来,即控制流与数据流进行分离,从而获得更高的系统扩展性和I/O并发性.因而,元数据管理模型显得至关重要,直接影响到系统的扩展性.性能.可靠性和稳定性等.存储系统要具有很高的Scale-Out特性,最大的挑战之一就是记录数据逻辑与物理位置的映像关系即数据元数据,还包括诸如

深入理解HDFS:Hadoop分布式文件系统

文本详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助. 1. 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储.统一管理分布在集群上的文件系统称为分布式文件系统.而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失. 传统的网络文件系统(NFS)虽然也称为分布式文件系统,但是其存在一些限制.由于NFS中,文件是存储在单机上,因此无法提供可靠性保证,当很多客户端同时访问NFS Serve

共享存储之分布式文件系统应用及MogileFS基础应用

 **什么是分布式存储:    分布式存储系统,是将数据分散存储在多台独立的设备上.传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要.分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性.可用性和存取效率,还易于扩展. 分布式文件系统设计目标: ** 访问透明** 位置透明** 并发透明** 失效透明** 硬件透明** 可扩展性** 复制