Glusterfs分布式存储(一)

环境准备

1、centos6.8 系统的虚拟机(四台)

2、关闭iptables和SELinux

3、预装glusterfs软件包

yum install -y centos-release-gluster37.noarch
yum --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication

分布式文件系统的产生

计算机通过文件系统管理、存储数据,而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,已经不能满足目前的需求。

分布式文件系统可以有效解决数据的存储和管理难题,将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据。

  • 典型代表NFS

NFS(Network File System)即网络文件系统,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。

NFS的优点如下:

1.节约使用的磁盘空间

客户端经常使用的数据可以集中存放在一台机器上,并使用NFS发布,那么网络内部所有计算机可以通过网络访问,不必单独存储。

2.节约硬件资源

NFS还可以共享软驱,CDROM和ZIP等的存储设备,减少整个网络上的可移动设备的数量。

3.用户主目录设定

对于特殊用户,如管理员等,为了管理的需要,可能会经常登录到网络中所有的计算机,若每个客户端,均保存这个用户的主目录很繁琐,而且不能保证数据的一致性.实际上,经过NFS服务的设定,然后在客户端指定这个用户的主目录位置,并自动挂载,就可以在任何计算机上使用用户主目录的文件。

  • 面临的问题

存储空间不足,需要更大容量的存储。

直接用NFS挂载存储,有一定风险,存在单点故障。

某些场景不能满足要求,大量的访问磁盘IO是瓶颈。

GlusterFS 介绍

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。

GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端,用户可以在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据。GlusterFS使得用户可摆脱原有的独立、高成本的封闭存储系统,能够利用普通廉价的存储设备来部署可集中管理、横向扩展、虚拟化的存储池,存储容量可扩展至TB/PB级。

目前glusterfs 已被redhat收购,它的官方网站:http://www.gluster.org/

GlusterFS 在企业中应用场景

理论和实践上分析,GlusterFS目前主要适用大文件存储场景,对于小文件尤其是海量小文件,存储效率和访问性能都表现不佳。海量小文件LOSF问题是工业界和学术界公认的难题,GlusterFS作为通用的分布式文件系统,并没有对小文件作额外的优化措施,性能不好也是可以理解的。

Media  ?文档、图片、音频、视频

Shared storage  ?云存储、虚拟化存储、HPC(高性能计算)

Big data  ?日志文件、RFID(射频识别)数据

时间: 2024-10-14 00:54:00

Glusterfs分布式存储(一)的相关文章

Glusterfs 分布式存储安装部署

Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息:          Glusterfs-A                           10.20.0.200                                        Glusterfs-B                   10.20.0.201  

GlusterFS分布式存储集群部署记录-相关补充

接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档,继续做一些补充记录,希望能加深对GlusterFS存储操作的理解和熟悉度. ========================清理glusterfs存储环境========================= 由上面可知,该glusterfs存储集群有四个节点: [[email protected] ~]# cat /etc/hosts ....... 192.168.10.239 GlusterFS-master 192.

GlusterFS 分布式存储的搭建和使用

GlusterFS 分布式存储的安装和使用 1. GlusterFS分布式存储系统简介:   GlusterFS is a scalable network filesystem suitable for data-intensive tasks such as cloud storage and media streaming. GlusterFS is free and open source software and can utilize common off-the-shelf har

Suse12.1 - rpm部署GlusterFS分布式存储

1.zypper 安装各种库 zypper in bison openssl* libacl* sqlite libxml2* zypper in libxml++* fuse fuse-devel zyypper in openssl-devel libaio-devel bison bison-devel flex systemtap-sdt-devel readline-devel cd /home/src/glusterfs-3.8.9 ./configure --prefix=/hom

glusterFS分布式存储部署流程

转自:http://bangbangba.blog.51cto.com/3180873/1712061 GlusterFS是一款非常易于使用的分布式文件存储系统,实现了全部标准POSIX接口,并用fuse实现虚拟化,让用户看起来就像是本地磁盘一样.因此程序想从本地磁盘切换到GlusterFS时是不用修改任何代码的,做到了无缝切换.并且让多台电脑的程序看起来在使用同一块硬盘,简化了很多逻辑.如果您的应用单机磁盘不够放时,不妨考虑下GlusterFS. 一.    GlusterFS源码安装1. g

GlusterFS 分布式存储部署使用

GlusterFS是一款非常易于使用的分布式文件存储系统,实现了全部标准POSIX接口,并用fuse实现虚拟化,让用户看起来就像是本地磁盘一样.因此程序想从本地磁盘切换到GlusterFS时是不用修改任何代码的,做到了无缝切换.并且让多台电脑的程序看起来在使用同一块硬盘,简化了很多逻辑.如果您的应用单机磁盘不够放时,不妨考虑下GlusterFS. 一.    GlusterFS源码安装1. glusterfs 依赖安装 a. centos下yum安装 yum install -y flex bi

GlusterFS分布式存储

目录 glusterfs简介 glusterfs部署 一.glusterfs简介 Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统. 特征: 容量可以按比例的扩展,且性能却不会因此而降低. 廉价且使用简单,完全抽象在已有的文件系统之上. 扩展和容错设计的比较合理,复杂度较低 适应性强,部署方便,对环境依赖低,使用,调试和维护便利 二

GlusterFS分布式存储集群-1. 部署

参考文档: Quick Start Guide:http://gluster.readthedocs.io/en/latest/Quick-Start-Guide/Quickstart/ Install-Guide:https://docs.gluster.org/en/latest/Install-Guide/Install/ CentOS gluster-Quickstart:https://wiki.centos.org/SpecialInterestGroup/Storage/glust

GlusterFS分布式存储集群-2. 使用

参考文档: Quick Start Guide:http://gluster.readthedocs.io/en/latest/Quick-Start-Guide/Quickstart/ Install-Guide:https://docs.gluster.org/en/latest/Install-Guide/Install/ CentOS gluster-Quickstart:https://wiki.centos.org/SpecialInterestGroup/Storage/glust