56.GlusterFS分布式文件系统

GlusterFS分布式文件系统

GlusterFS是一个开源的分布式文件系统,软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配得到针对性的解决方案。可解决一下问题:网络存储,联合存储,冗余备份,大文件的负载均衡。可靠性也未经过长时间的考验,还不适合应用于提供24小时不间断服务的产品环境。目前适用于大数据量的离线应用。

GlusterFS通过infiniband RDMA或者TCP/IP的方式将许多廉价的X86主机,通过网络互联成一个并行的网络文件系统。

注释:

Brick:GFS中的存储单元,通过一个受信存储池中的服务器的一个导出目录。

Client:挂在GFS卷的设备。

Node:存放Brick的设备。

RDMA:远程直接内存访问。

GFID:GFS卷中每个文件或目录都有一个唯一的128位的数据相关联。

FUSE:是一个可加载的内核模块,支持非特权用户创建自己的文件系统而不需要修改内核代码。

GlusterFS的部署:

安装依赖包

#yum -y install xfsprogs fuse fuse-libs libacl-devel flex bison openssl-devel sqlite-devel libxml2

# rpm -ivh userspace-rcu-0.9.2-2.fc25.x86_64.rpm

# rpm -ivh userspace-rcu-devel-0.9.2-2.fc25.x86_64.rpm

安装三部曲

#./configure --prefix=/usr/local/gluster

#make && make install

手动指定系统找到URCU

# ldconfig

# pkg-config --libs --cflags liburcu-bp liburcu

定义系统变量

# vim /etc/profile

添加内容:

PATH=$PATH:/usr/local/gluster/sbin

开启Glusterd服务

# glusterd start

# ps aux |grep glusterd

Gluster的使用:

Gluster群集关联

#gluster peer probe 1.1.1.1

#gluster peer probe 1.1.1.2

#gluster peer probe 1.1.1.3

主机添加一块硬盘,格式化与挂载

#fdisk -l

#fdisk /dev/sdb

#mkfs /dev/sdb1

#mount /dev/sdb1 /a

创建卷

多块磁盘组成一个卷,不做RAID

# gluster volume create renvg  1.1.1.1:/a  1.1.1.2:/b  1.1.1.3:/c

多块磁盘组成一个卷,做成RAID1

# gluster volume create renvg replica 2 1.1.1.1:/a  1.1.1.2:/b  1.1.1.3:/c

将卷挂载在文件夹即可

#mount -t glusterfs -o acl master:/renvg  /opt/a

Gluster基本命令汇总


命令


描述


Gluster volume stop renvg


停止卷的使用


Gluster volume start renvg


开始卷的使用


Gluster volume delete renvg


删除卷

修复卷中的磁盘


Gluster volume replace-brick renvg 1.1.1.1:/a 1.1.1.3:/new

Gluster volume heal renvg full


修复卷

扩展卷容量


Gluster volume add-brick renvg 1.1.1.4:/new


在线扩展卷的容量


Gluster volume rebalance renvg start


平衡数据

减少卷容量


Gluster volume remove-brick renvg 1.1.1.1:/a start


在线减少卷的容量


Gluster volume remove-brick renvg 1.1.1.1:/a status


查看删除卷的状态


Gluster volume remove-brick renvg commit


提交移除操作

磁盘配额


Gluster volume quota renvg enable


开启磁盘配额


Gluster volume quota renvg limit -usage /quo_a 10Gb


设置该目录只可以使用卷的10Gb


Gluster volume quota renvg list


显示当前的配额使用量


Gluster volume quota renvg remove /quo_a


去除目录配额


Gluster volume quota renvg disable


停用磁盘配额

创建卷使用RAID


Gluster volume create renvg stripe 3 1.1.1.1:/a  1.1.1.2:/b  1.1.1.3:/c


RAID0


Gluster volume create renvg replica2 stripe 3 1.1.1.1:/a  1.1.1.2:/b  1.1.1.3:/c


RAID1+0


Gluster volume create renvg disperse 6 redundancy 1 1.1.1.1:/a  1.1.1.2:/b  1.1.1.3:/c


RAID5


Gluster volume create renvg disperse 10 redundancy 5


RAID6

注:绿色的为卷的名字。

时间: 2024-10-25 08:27:05

56.GlusterFS分布式文件系统的相关文章

【GlusterFS学习之一】:GlusterFS分布式文件系统的基本概念及搭建

2.GlusterFS的部署方法. 操作系统: centos6.4: lsb_release -a 一共有三台机器: client: 10.23.85.47 glusterA server: 10.23.85.48 glusterB 10.23.85.49 glusterC glusterfs源代码:http://yunpan.cn/cVHsYCHzGGe43(提取码:710e)(代码版本为3.6.3) glusterfs ,fuse(http://pan.baidu.com/s/1geInpV

GlusterFS分布式文件系统原创文章合集

大量原创博文可见如下链接,话说原文作者刘爱贵会持续更新: http://blog.csdn.net/liuaigui/article/details/17331557 下面提供一个当前版本的链接: [1] GlusterFS集群文件系统研究 [2] 基于开源软件构建高性能集群NAS系统 [3] 关于Gluster稳定性的一个BUG [4] 创建Glusterfs分布式RAID10卷 [5] 设计新Xlator扩展GlusterFS [6] Glusterfs全局统一命名空间 [7] Gluste

Centos 7搭建GlusterFS分布式文件系统群集

关于GlusterFS分布式文件系统工作原理及相关概述请参考博文:GlusterFS分布式文件系统概述 一.搭建GlusterFS分布式文件系统群集 此案例相关软件包请访问:https://pan.baidu.com/s/1xazQAkR2Lm31njwu88Z9qA 提取码:qdiy 环境如下: 服务器相关信息: 磁盘相关信息: 部署前准备工作:在所有节点上执行以下操作,添加30G新硬盘,通过fdisk分区.mkfs格式化,创建相应的挂载目录,并将格式化的磁盘挂载到相应的目录中.最后根据实际情

GlusterFS分布式文件系统

分布式系统要做的任务就是把多台机器有机的组合.连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务.如果一定要给近些年的分布式系统研究做一个分类的话,大概可以包括三大部分: 1. 分布式存储系统 2. 分布式计算系统 3. 分布式管理系统 这是一个范围比较广的话题,今天我们就来简单了解一下分布式存储系统的Gluserfs. GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理

GlusterFS分布式文件系统部署

理论部分 一:GlusterFS概述1.1:Glusterfs简介?? GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.1.2:Glusterfs特点1:扩展性和高性能?? ??GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解

GlusterFS分布式文件系统的卷类型及配置详解

博文大纲:(一)GlusterFS相关概念.(二)GlusterFS各种卷类型的部署及客户端挂载使用.(三)GlusterFS维护命令. (一)GlusterFS相关概念: GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力.GlusterFS主要由存储服务器.客户端及NFS/Samba存储网关(可选组件)组成.GlusterFS架构中最大的设计特点是没有元数据服务器组件,也就是说没有主/从服务器之分,每一

GlusterFS 分布式文件系统

简介 Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统. 特征: 容量可以按比例的扩展,且性能却不会因此而降低. 廉价且使用简单,完全抽象在已有的文件系统之上. 扩展和容错设计的比较合理,复杂度较低 适应性强,部署方便,对环境依赖低,使用,调试和维护便利 glusterfs安装部署 一般在企业中,采用的是分布式复制卷,因为有数据备份

glusterFS分布式文件系统的搭建

准备工作 1.安装IBA yum install libradmacm librdmacm-devel libmlx4 infiniband-diags 2.配置IPOIB /etc/sysconfig/network-scripts/ifconfig-ib0    DEVICE=ib0    TYPE=InfiniBand    BOOTPROTO=static    ONBOOT=yes    IPADDR=17.0.31.3    NETMASK=255.255.0.0 修改完配置之后,需

GlusterFS分布式文件系统概述

博文目录一.GlusterFS概述1.GlusterFS的特点2.GlusterFS术语3.模块化堆栈式架构二.GlusterFS的工作原理1.GlusterFS的工作流程2.弹性HASH算法三.GlusterFS的卷类型1.分布式卷2.条带卷3.复制卷4.分布式条带卷5.分布式复制卷 一.GlusterFS概述 GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力,通过扩展不同的节点可以支持PB级别的存储容