本文是在云服务器上进行搭建，使用的yum安装
MFS文件系统能够实现RAID的功能,并且能够节约存储成本，能够在线扩展。
实验环境(服务器有限,实验时一台服务器承担多个职位)
|
172.16.100.4 外网IP:121.201.24.138 |
mfsmaster |
| 172.16.100.3 | chunkserver1-metalog2 |
| 172.16.100.5 | chunkserver2 |
| 172.16.100.6 | chunkserver3 |
| 172.16.100.3 | chunkserver4-metalog1 |
1 下载更新YUM配置文件
下载YUM的key认证文件
curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
下载YUM的repo配置文件
curl "http://ppa.moosefs.com/MooseFS-stable-el6.repo" > /etc/yum.repos.d/MooseFS.repo
更新repo配置
yum update
2 安装MooseFS
master
######### MooseFS master 节点 172.16.100.4 ##############
安装 MooseFS master
yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv cd /etc/mfs cp mfsmaster.cfg.dist mfsmaster.cfg cp mfsexports.cfg.dist mfsexports.cfg
配置 MooseFS master
添加如下配置 表示172.16.100.0/24网段可以挂载MooseFS，仅172.16.100.2可以挂载meta数据(用于恢复数据)
vim /etc/mfs/mfsexports.cfg 172.16.100.0/24/rw,alldirs,maproot =0 172.16.100.2.rw
添加如下配置 指定mfs数据存放位置
vim /etc/mfs/mfsmaster.cfg DATA_PATH = /mfs/mfsmaster
修改了data目录,需要创建相应目录并授权
并且将原data目录下的metadata.mfs传到新目录,不然master将无法启动
mkdir /mfs/mfsmaster -p;chown mfs:mfs /mfs/ -R cp /var/lib/mfs/metadata.mfs /mfs/mfsmaster/
启动 MooseFS master
service moosefs-master start
查看日志/var/log/messages,有以下提示是因为未将原data目录下文件放到新data目录
Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: open files limit has been set to: 4096 Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: set gid to 498 Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: set uid to 497 Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: monotonic clock function: clock_gettime Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: monotonic clock speed: 62935 ops / 10 mili seconds Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: exports file has been loaded Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: topology file has been loaded Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: can‘t find metadata.mfs - try using option ‘-a‘ Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: init: metadata manager failed !!! Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: exititng ... Aug 8 16:50:41 i-22a1spjv mfsmaster[4848]: process exited successfully (status:1)
启动 MooseFS cgi server用于使用web端查看监控
service moosefs-cgiserv start
查看http://121.201.24.138:9425/mfs.cgi,提示没有DNS
在服务器hosts中设置(由于测试服务器有限,循环利用)
vim /etc/hosts 172.16.100.4 mfsmaster 172.16.100.5 chunkserver2 172.16.100.2 chunkserver4-metalog1 172.16.100.3 chunkserver1-metalog2 172.16.100.6 chunkserver3
刷新界面
metalog
######### MooseFS metalog节点 172.16.100.2#############
安装 MooseFS metalogger
yum install moosefs-metalogger
配置 MooseFS metalogger 数据存放路径
vim /etc/mfs/mfsmetalogger.cfg DATA_PATH = /mfs/mfsmetalogger MASTER_HOST = 172.16.100.4 #如果不修改这里,需要在hosts中添加域名解析
vim /etc/hosts 172.16.100.4 mfsmaster
修改了data目录,需要创建相应目录并授权
mkdir /mfs/mfsmetalogger -p chown mfs:mfs /mfs/ -R
启动 MooseFS metalogger
/etc/init.d/moosefs-metalogger start
查看监控,log已经添加成功
chunkserver
######## MooseFS chunkserver节点 172.16.100.3/5/6/2#############
安装 MooseFS chunk
yum install moosefs-chunkserver
配置 MooseFS chunkserver
vim /etc/mfs/mfschunkserver.cfg MASTER_HOST = 172.16.100.4 #或者做hosts解析
测试使用dd指令划分一块10G区间挂载使用(可以单独挂载硬盘作为chunkserver挂载盘使用)
dd if=/dev/zero of=/tmp/file bs=102400 count=100000 #创建10G空文件 mke2fs -T ext4 /tmp/file #将这个文件格式化 mkdir /mfs/mfschunk1 -p #创建挂载目录 mount /tmp/file /mfs/mfschunk1/ -o loop #挂载分区 chown mfs:mfs /mfs/ -R #赋权 vim /etc/fstab /tmp/file /mfs/mfschunk1 ext4 defaults,loop 0 0
### 配置 MooseFS chunkserver数据存放路径为 /mfs/mfschkunk1 ###
vim /etc/mfs/mfshdd.cfg /mfs/mfschunk1 -5GiB #这里会留出5G的空间
启动 MooseFS chunkserver
service moosefs-chunkserver start
查看监控,已经有一台chunkserver了
同样的方法创建好另外几个chunkserver端,刚创建显示已被占用5G(上面配置-5GiB)
查看日志是否有报错
3 挂载mfs共享的文件系统
安装 MooseFS client ( 172.16.100.3/5/6 )
yum install moosefs-client -y
挂载mfs
mkdir -pv /data mfsmount -H 172.16.100.4 /data/ # -S 指出挂在MFS目录的子目录,默认/,即整个MFS目录 df -h
4 MooseFS 管理
设置副本的份数，2份 (在已经挂载mfs的172.16.0.3上操作）
mfssetgoal -r 2 /mfs
查看设置
mfsgetgoal /mfs /data/2002.txt: 1
设置删除文件在“回收站”内保留的时间（一天）
fssettrashtime -r 86400 /mfs
查看保留的时间
mfsgettrashtime /mfs /data/: 86400
查看备份信息(数据能被分成几个副本存储在不同的计算机里)
mfsfileinfo hello.txt chunk 0: 0000000000000245_00000001 / (id:581 ver:1) copy 1: 192.168.81.43:9422 copy 2: 192.168.81.44:9422 chunk 1: 0000000000000246_00000001 / (id:582 ver:1) copy 1: 192.168.81.43:9422 copy 2: 192.168.81.44:9422
测试
2002.txt与2015.txt备份1份,2003.txt与2014.txt备份2份
2014.txt备份为2份
关闭chunkserver1后,2015.txt备份文件有数据丢失,无法查看文件中内容
启动chunkserver1后,2015.txt数据恢复正常
由于是分布式存储,类似于RAID,数据块会分别存储在不同的chunkserver挂载硬盘上。备份次数为1类似于RAID0，备份次数为2及以上类似于RAID1。适用于哪种得看公司实际需求，建议备份2次。