分布式文件系统---GlusterFS安装配置

一、环境规划

GlusterFS服务端：10.100.0.41/10.100.0.44
GlusterFS客户端：10.100.0.43

二、所需软件包

glusterfs-server-3.4.2-1.el6.x86_64
glusterfs-3.4.2-1.el6.x86_64

三、安装

3.1、服务端安装


#wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.6/3.6.2/CentOS/glusterfs-epel.repo

#wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.6/3.6.2/CentOS/glusterfs-epel.repo

#service glusterd start
#chkconfig glusterd on

3.2、配置存储目录

GlusterFS默认不能使用根分区作为GlusterFS的存储目录，本例中使用第二块磁盘来做

# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x423f8af8.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won‘t be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to
         switch off the mode (command ‘c‘) and change display units to
         sectors (command ‘u‘).

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-78325, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-78325, default 78325):
Using default value 78325

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

# mkfs.ext4 /dev/sdb1
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
39321600 inodes, 157286382 blocks
7864319 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
4800 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000

Writing inode tables: done                           
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 35 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
# mkdir /gfs
# mount /dev/sdb1 /gfs
# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              30G  1.8G   27G   7% /
tmpfs                 495M     0  495M   0% /dev/shm
/dev/sda1             194M   28M  157M  15% /boot
/dev/sda4              65G  180M   62G   1% /home
/dev/sdb1             591G  198M  561G   1% /gfs

3.3、加入随机启动

#echo "/dev/sdb1                                 /gfs                    ext4    defaults        1 2" >> /etc/fstab

3.4、在第一台GlusterFS server中加入存储节点。即（10.100.0.44）

# gluster peer probe 10.100.0.44       # 加入新节点
.......

3.5、查看节点信息

# gluster peer status
Number of Peers: 1

Hostname: 10.100.0.44
Uuid: c674ccbb-072b-4f26-97a2-facd15add645
State: Peer in Cluster (Connected)

3.5、创建存储卷。即集群磁盘

#gluster volume create gfsv replica 2 10.100.0.41:/gfs 10.100.0.44:/gfs
Creation of volume gfsv has been successful. Please start the volume to access data.

3.6、启动存储卷

# gluster volume start gfsv      # 启动卷

3.7、查看存储卷信息

# gluster volume info

Volume Name: gfsv
Type: Replicate
Volume ID: be627a08-1d36-40f5-add0-1277be47c328
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: 10.100.0.41:/gfs/data
Brick2: 10.100.0.44:/gfs/data

3.8、配置访问ACL规则

# gluster volume set gfs auth.allow 10.100.0.*     # 授权访问

四、客户端安装配置

4.1、安装客户端

客户端需要fuse支持

# yum -y install glusterfs glusterfs-fuse glusterfs-api glusterfs-devel glusterfs-libs

4.2、挂载glusterfs存储

#mount -t glusterfs -o rw 10.100.0.41:gfsv /home/gfs/data/

五：存储卷模式

(1)distribute volume：分布式卷，文件通过hash算法分布到brick server上，这种卷是glusterfs的基础和最大特点；

(2)stripe volume：条带卷，类似RAID0，条带数=brick server数量，文件分成数据块以Round Robin方式分布到brick server上，并发粒度是数据块，大文件性能高；
     (3)replica volume：镜像卷，类似RAID1，镜像数=brick server数量，所以brick server上文件数据相同，构成n-way镜像，可用性高；
     (4)distribute stripe volume：分布式条带卷，brick server数量是条带数的倍数，兼具distribute和stripe卷的特点；
     (5)distribute replica volume：分布式镜像卷，brick server数量是镜像数的倍数，兼具distribute和replica卷的特点；

六、 平衡布局是很有必要的，因为布局结构是静态的，当新的bricks加入现有卷，新创建的文件会分布到旧的bricks中，所以需要平衡布局结构，使新加入 的bricks生效。布局平衡只是使新布局生效，并不会在新的布局移动老的数据，如果你想在新布局生效后，重新平衡卷中的数据，还需要对卷中的数据进行平 衡。


gluster volume rebalance VOLNAME fix-layout start

gluster volume rebalance VOLNAME migrate-data start

也可以两步合一步同时操作

gluster volume rebalance VOLNAME start

你也可以删除/停止卷

gluster volume stop/delete VOLNAME

你可以在在平衡过程中查看平衡信息：

你也可以暂停平衡，再次启动平衡的时候会从上次暂停的地方继续开始平衡。

gluster volume rebalance VOLNAME stop
时间： 2024-10-07 17:53:17

分布式文件系统---GlusterFS安装配置的相关文章

分布式文件系统glusterfs安装步骤

我的系统是 RHEL5 , 可能环境不一样, 需要安装的第三方依赖不一样啊, 反正大家在安装的过程中缺少什么就去安装什么, 一般都会有提示的. 下载   glusterfs-3.2.0.tar.gz  源码包. 随便解压到一个目录. glusterfs 需要 fuse 的支持, 在安装开始之前请先安装 fuse. fuse可以到http://fuse.sourceforge.net/进行下载 安装fuse的步骤如下: ./configure make make install glusterfs

MFS分布式文件系统之安装部署

MFS分布式文件系统之安装部署 Moose File System 是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上 管理服务器 (managing server) 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝 元数据日志服务器 (Metalogger server) 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 数据存储服务器 (d

分布式文件系统fastdfs_V5.09配置双tracker负载均衡

分布式文件系统fastdfs_V5.09配置双tracker负载均衡 环境准备 操作系统: Centos 7 服务器: IP:192.168.2.238 IP:192.168.2.239 软件包: fastdfs-5.09.tar.gz fastdfs-nginx-module_v1.16.tar.gz libfastcommon-master nginx-1.7.0.tar.gz ngx_http_lower_upper_case-master 注:统一放置/home/soft目录,并且解压到

07.Linux系统-Fastdfs分布式文件系统-互为主从配置搭建部署

Fastdfs分布式文件系统-互为主从配置部署 1.安装基础依赖 yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel unzip 2.下载安装 libfastcommon wget https://github.com/happyfish100/libfastcommon/archive/master.zip 3.解压安装 unzip master.zipcd libfastcommon

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置 1.安装cd /root/softtar zxvf zookeeper-3.4.6.tar.gzmv zookeeper-3.4.6 /usr/local/hadoop/zookeeper2.修改配置文件mkdir -p /data/zookeeper/data //3个节点都需要创建此目录cd /usr/local/hadoop/zookeeper/confcp zoo_sample.cfg zoo.cfg#vim zoo.cfg

Linux下分布式文件系统FastDFS安装与配置

1.fastdfs 分布式文件系统,对文件进行管理,主要功能包括文件存储.文件同步.文件访问(文件的上传和下载)等, 解决了大容量存储和负载均衡的问题. 2.fastdfs的两个核心分别是跟踪器(tracker)和存储节点(storage),其中tracker主要的功能是完成调度工作和实现负载均衡, storage主要的功能是存储数据. 3.fastdfs文件分布系统中实现文件上传下载的原理: 上传: 1)Client(客户端)要通过Tracker server(跟踪服务器)将文件上传到Stor

分布式文件系统---GlusterFS介绍

GlusterFS概述 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够 支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提 供优异的性能. GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端,如图2所

CentOS7下分布式系统GlusterFS安装配置

一.主机规划 操作系统版本为CentOS 7.2.1511 node1:172.17.0.1 gfs1 node2:172.17.0.2 gfs2 node3:172.17.0.3 gfs3 node4:172.17.0.4 gfs client:172.17.0.5 二.安装: 1.在node1-4上安装glusterfs-server yum install -y centos-release-gluster38 yum install -y glusterfs glusterfs-serv

2.GlusterFS 安装配置

2.1 GlusterFS 安装前的准备 服务器规划:(vmware 实验) 操作系统 IP 主机名 数据盘(2 块) CentOS 6.8 x86_64 10.1.0.151 mystorage1 sdb:10G  sdc:10G CentOS 6.8 x86_64 10.1.0.152 mystorage2 sdb:10G  sdc:10G CentOS 6.8 x86_64 10.1.0.153 mystorage3 sdb:10G  sdc:10G CentOS 6.8 x86_64 1