GlusterFS 分布式文件系统

简介

Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。

  特征:

  • 容量可以按比例的扩展,且性能却不会因此而降低。
  • 廉价且使用简单,完全抽象在已有的文件系统之上。
  • 扩展和容错设计的比较合理,复杂度较低
  • 适应性强,部署方便,对环境依赖低,使用,调试和维护便利

glusterfs安装部署

  一般在企业中,采用的是分布式复制卷,因为有数据备份,数据相对安全。

  网络要求全部千兆环境,gluster 服务器至少有 2 块网卡,1 块网卡绑定供 gluster 使用,剩余一块分配管理网络 IP,用于系统管理。如果有条件购买万兆交换机,服务器配置万兆网卡,存储性能会更好。网络方面如果安全性要求较高,可以多网卡绑定。

 跨地区机房配置 Gluster,在中国网络格局下不适用。

  • 注意:GlusterFS将其动态生成的配置文件存储在/var/lib/glusterd中。如果在任何时候GlusterFS无法写入这些文件(例如,当后备文件系统已满),它至少会导致您的系统不稳定的行为; 或者更糟糕的是,让您的系统完全脱机。建议为/var/log等目录创建单独的分区,以确保不会发生这种情况。

GlusterFS创建术语

  • Brick: 最基本的存储单元,表示为trusted storage pool中输出的目录,供客户端挂载用。
  • Volume: 一个卷。在逻辑上由N个bricks组成.
  • FUSE: Unix-like OS上的可动态加载的模块,允许用户不用修改内核即可创建自己的文件系统。
  • Glusterd: Gluster management daemon,要在trusted storage pool中所有的服务器上运行。
  • POSIX: 一个标准,GlusterFS兼容。

基本卷介绍

分布式卷(类似raid 0但是数据不分片)默认

基于Hash算法将文件分布到所有的brick server上,只是单纯的扩大了磁盘空间,不具备冗余能力,数据丢了就丢了,由于distribute volume使用本地文件系统,因此存取效率并没有提高,相反会应为中间又加上了一层网络传输,效率反而降低了.另外本地存储设备的容量有限制,因此支持超大型文件会有一定的难度

条带卷(类似raid 0)

类似Raid 0,文件分成数据块以Round Robin(循环)方式分布到brick server上,并发粒度是数据块,支持超大文件,大文件的读写性能高(因为他是分块存储,可以同时多个磁盘写入)

复制卷(类似Raid 1)

类似于Raid1,文件同步的复制到多个brick上,具有容错能力,写性能下降,读性能提升(待测),Replicated模式,也称作AFR(Auto File Replicated),同一个文件在多个镜像存储节点上保存多份,每个节点上都具有想用的目录结构和文件.replica volume是容器存储中较为推崇的一种

分部署条带卷

先组成条带式在组成分布式,集群节点最少4个节点,Brick server 数量是条带数的倍数,分布式的条带卷,volume和brick所包含的存储服务器必须是stripe的倍数,同时拥有分布式和条带式的功能.文件分布在四台文件存储服务器上, 创建卷的时候相邻的两个会组成条带,然后在组成分布式

分布式复制卷

Brick server是镜像数的倍数,先组合分布式在组合成复制卷,也是最少需要4台服务器,这个多少组成分布和多少个副本数是自己创建的时候定义的,官网有介绍

条带复制卷

先组合成条带式在组合成复制卷,先把数据分块存放,然后在完整复制,类似 RAID 10,同时具有条带卷和复制卷的特点

分布式条带复制卷

三种基础卷的合体

参考:

https://blog.51cto.com/13447608/2386830?source=dra

https://baijiahao.baidu.com/s?id=1612194635156434300&wfr=spider&for=pc

原文地址:https://www.cnblogs.com/Mercury-linux/p/12050389.html

时间: 2024-11-09 14:27:10

GlusterFS 分布式文件系统的相关文章

【GlusterFS学习之一】:GlusterFS分布式文件系统的基本概念及搭建

2.GlusterFS的部署方法. 操作系统: centos6.4: lsb_release -a 一共有三台机器: client: 10.23.85.47 glusterA server: 10.23.85.48 glusterB 10.23.85.49 glusterC glusterfs源代码:http://yunpan.cn/cVHsYCHzGGe43(提取码:710e)(代码版本为3.6.3) glusterfs ,fuse(http://pan.baidu.com/s/1geInpV

GlusterFS分布式文件系统原创文章合集

大量原创博文可见如下链接,话说原文作者刘爱贵会持续更新: http://blog.csdn.net/liuaigui/article/details/17331557 下面提供一个当前版本的链接: [1] GlusterFS集群文件系统研究 [2] 基于开源软件构建高性能集群NAS系统 [3] 关于Gluster稳定性的一个BUG [4] 创建Glusterfs分布式RAID10卷 [5] 设计新Xlator扩展GlusterFS [6] Glusterfs全局统一命名空间 [7] Gluste

56.GlusterFS分布式文件系统

GlusterFS分布式文件系统 GlusterFS是一个开源的分布式文件系统,软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配得到针对性的解决方案.可解决一下问题:网络存储,联合存储,冗余备份,大文件的负载均衡.可靠性也未经过长时间的考验,还不适合应用于提供24小时不间断服务的产品环境.目前适用于大数据量的离线应用. GlusterFS通过infiniband RDMA或者TCP/IP的方式将许多廉价的X86主机,通过网络互联成一个并行的网络文件系统. 注释: Brick:GFS中的

Centos 7搭建GlusterFS分布式文件系统群集

关于GlusterFS分布式文件系统工作原理及相关概述请参考博文:GlusterFS分布式文件系统概述 一.搭建GlusterFS分布式文件系统群集 此案例相关软件包请访问:https://pan.baidu.com/s/1xazQAkR2Lm31njwu88Z9qA 提取码:qdiy 环境如下: 服务器相关信息: 磁盘相关信息: 部署前准备工作:在所有节点上执行以下操作,添加30G新硬盘,通过fdisk分区.mkfs格式化,创建相应的挂载目录,并将格式化的磁盘挂载到相应的目录中.最后根据实际情

GlusterFS分布式文件系统

分布式系统要做的任务就是把多台机器有机的组合.连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务.如果一定要给近些年的分布式系统研究做一个分类的话,大概可以包括三大部分: 1. 分布式存储系统 2. 分布式计算系统 3. 分布式管理系统 这是一个范围比较广的话题,今天我们就来简单了解一下分布式存储系统的Gluserfs. GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理

GlusterFS分布式文件系统部署

理论部分 一:GlusterFS概述1.1:Glusterfs简介?? GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.1.2:Glusterfs特点1:扩展性和高性能?? ??GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解

GlusterFS分布式文件系统的卷类型及配置详解

博文大纲:(一)GlusterFS相关概念.(二)GlusterFS各种卷类型的部署及客户端挂载使用.(三)GlusterFS维护命令. (一)GlusterFS相关概念: GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力.GlusterFS主要由存储服务器.客户端及NFS/Samba存储网关(可选组件)组成.GlusterFS架构中最大的设计特点是没有元数据服务器组件,也就是说没有主/从服务器之分,每一

glusterFS分布式文件系统的搭建

准备工作 1.安装IBA yum install libradmacm librdmacm-devel libmlx4 infiniband-diags 2.配置IPOIB /etc/sysconfig/network-scripts/ifconfig-ib0    DEVICE=ib0    TYPE=InfiniBand    BOOTPROTO=static    ONBOOT=yes    IPADDR=17.0.31.3    NETMASK=255.255.0.0 修改完配置之后,需

GlusterFS分布式文件系统概述

博文目录一.GlusterFS概述1.GlusterFS的特点2.GlusterFS术语3.模块化堆栈式架构二.GlusterFS的工作原理1.GlusterFS的工作流程2.弹性HASH算法三.GlusterFS的卷类型1.分布式卷2.条带卷3.复制卷4.分布式条带卷5.分布式复制卷 一.GlusterFS概述 GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力,通过扩展不同的节点可以支持PB级别的存储容