目前常见的分布式文件系统有很多种，例如我之前一篇文章里面提到的Hadoop、FastDFS、Moosefs、PNFS(Parallel NFS）、Lustre、TFS、GFS、HDFS等等一系列。在众多的分布式文件系统解决方案中，MFS是搭建比较简单、使用起来也不需要过多的修改web程序，非常方便。
MooseFS(MFS)是一个分布式存储的框架，其具有如下特性：
1.Free(GPL)
2.通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs很麻烦）。
3.可以在线扩容，体系架构可伸缩性极强。
4.部署简单。
5.高可用，可设置任意的文件冗余程度（提供比raid1+0更高的冗余级别，而绝对不会影响读或者写的性能，只会加速！）
6.可回收在指定时间内删除的文件（“回收站”提供的是系统级别的服务，不怕误操作了，提供类似oralce 的闪回等高级dbms的即时回滚特性）
7.提供netapp，emc，ibm等商业存储的snapshot特性。（可以对整个文件甚至在正在写入的文件创建文件的快照）
8.google filesystem的一个c实现。
9.提供web gui监控接口。
10.提高随机读或写的效率。
11.提高海量小文件的读写效率。
MFS 文件系统结构:
包含 4 种角色:
1. 管理服务器managing server (master):负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝。
2. 元数据日志服务器 Metalogger server(Metalogger): 负责备份 master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在 master server 出问题的时候接替其进行工作。
3. 数据存储服务器data servers (chunkservers):负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数
据传输。
4.客户端client computers: 通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地 unix 文件系统使用一样的效果。
原理图
参考 moosefs.org
server4为master，server5与server6为chunk,instructor为client
server4
#yum install -y rpm-build
#cp mfs-1.6.27-5.tar.gz mfs-1.6.27.tar.gz
#rpmbuild -tb mfs-1.6.27.tar.gz
#cd rpmbuild/RPMS/x86_64/
#rpm -ivh mfs-master-1.6.27-4.x86_64.rpm mfs-cgi* //mfs-cgi.x86-64是用于apache主机的cgi监控，如果你不用apache，可以不用安装的
#cd /etc/mfs
借用以.dist后缀命名的样例文件作为 MooseFS 主控服务器的目标配置文件
#cp mfsexports.cfg.dist mfsexports.cfg
配置文件 mfsexports.cfg 指定那些客户端主机可以远程挂接 MooseFS 文件系统,以及授予挂接客户端什么样的访问权限。例如,我们指定只有 192.168.2.x 网段的主机可以以读写模式访问 MooseFS 的整个共享结构资源(/)。在配置文件 mfsexports.cfg 文件的第一行,先取消注释,然后把星号(*)改成 192.168.2.0/24,以便我们可以得到下面的文本行:
192.168.2.0/24 / rw,alldirs,maproot=0
#cp mfsmaster.cfg.dist mfsmaster.cfg
Mfsmaster.cfg 配置文件包含主控服务器 master 相关的设置,在这里我们暂时不打算对其进行修改。如果你想知道关于该配置文件更多的信息,请查看它的手册页(使用命令 man mfsmaster.cfg)。
#cp mfstopology.cfg.dist mfstopology.cfg //
#chown nobody /var/lib/mfs //mfs依赖nobody用户
#cd /var/lib/mfs //mfs安装目录
#cp metadata.mfs.empty metadata.mfs
#cd /usr/share/mfscgi/
#chmod +x *.cgi
#vim /etc/hosts 绑定mfsmaster到172.25.0.4
#mfsmaster //启动服务
#mfscgiserv //Mfscgiserv是用python编写的一个web服务器，监听端口是9425。用户利用浏览器就可全面监控所有客户挂载、服务器状态、磁盘IO信息、客户端的各种操作等等
web上输入172.25.0.4：9425
#cd rpmbuild/RPMS/x86_64/
#scp mfs-chunkserver-1.6.27-4.x86_64.rpm 172.25.0.5~
#scp mfs-chunkserver-1.6.27-4.x86_64.rpm 172.25.0.6:~
#scp mfs-client-1.6.27-4.x86_64.rpm 172.25.0.1:~
server5
#vim /etc/hosts 绑定mfsmaster到172.25.0.4
#rpm -ivh mfs-chunkserver-1.6.27-4.x86_64.rpm
#cd /etc/mfs/
#cp mfschunkserver.cfg.dist mfschunkserver.cfg
#cp mfshdd.cfg.dist mfshdd.cfg
#mkdir /var/lib/mfs
#chown nobody /var/lib/mfs
#cd /mnt
#mkdir chunk1 //设立共享点chunk1。chunk 以独占方式使用专门磁盘分区是非常必要的--这样做的好处是便于管理剩余空间。MooseFS 并不考虑其剩余空间能被另作他用。
#chown nobody chunk1/
#vim /etc/mfs/mfshdd.cfg
/mnt/chunk1
#mfschunkserver //启动chunkserver
server6
同server5
#mfschunkserver
提示不能创建lock文件，是因为chunk2所有人不是nobody
#chown nobody /mnt/chunk2
#mfschunkserver
client端 instructor
#vim /etc/hosts 绑定mfsmaster到172.25.0.4
#yum install mfs-client-1.6.27-4.x86_64.rpm -y
#cd /etc/mfs
#mv mfsmount.cfg.dist mfsmount.cfg
#vim mfsmount.cfg
在最后加入
/mnt/mfs
#cd /mnt
#mkdir mfs //建立客户端挂接点
#chown nobody mfs/ -R
#cd mfs
#mfsmount
#cd mfs
#mkdir dir1
#mkdir dir2
#cd dir1
#cp /etc/passwd .
#mfsfileinfo passwd
显示文件只在server5上存储。mfs以块为单位存储，一般每块为64MB。
#mfsgetgoal . //查看文件的冗余份数
#cd ..
#mfssetgoal -r 2 dir2 //设置dir2下文件的冗余为2
#cd dir2
#cp /etc/fstab .
#mfsfileinfo fstab
server5与server6各存了1份
##dd if=/dev/zero of=file2 bs=1M count=200 需要4块来存储。
server6
#mfschunkserver stop
instructor
#mfsfileinfo file2
只有server5开启chunk
server6
#mfschunkserver 再启动
instructor
#mfsfileinfo file2
#cd /mnt/
#mkdir mfsmeta
#chown nobody /mnt/mfsmeta
#mfsmount -m /mnt/mfsmeta //挂载到本地/mnt/mfsmeta
#cd /mnt/mfs/dir1
#dd if=/dev/zero of=file1 bs=1M count=100
#rm -fr *
#cd /mnt/mfsmeta/trash
#mv 0000000D\|dir1\|file1 undel/ //恢复删除文件
#cd /mnt/mfs/dir1
文件恢复成功
#mfssettrashtim 1000 /mnt/mfs/dir1
//设置删除后文件保留时间，单位s，设置过小的时间可能不生效。
#mfsgettrashtime /mmt/mfs/dir1
显示 dir1/:10
修改 linux 下最大文件描述符的限制:
在进行大量小文件写时,可能会出现了一个严重错误,有可能和操作系统文件描述符有关。操作
系统默认文件描述符为 1024.
1.6.26 版本默认为 100000
建议上线时,master 和 chunker 修改文件描述符系统级限制:它是限制所有用户打开文件描述符的总和,可以通过修改内核参数来更改该限制:
# vi /etc/sysctl.conf 添加
fs.file-max=102400
如果此值默认够大可以不用更改
# sysctl -p
命令使其生效。
用户级限制:只是修改用户级的最大文件描述符限制,也就是说每一个用户登录后执行的程序占
用文件描述符的总数不能超过这个限制。
# vi /etc/security/limits.conf
* - nofile 102400
保存退出后重新登录,其最大文件描述符已经被永久更改了。
与 file-max 参数相对应的还有 file-nr,这个参数是只读的,可以查看当前文件描述符的使用情况。
# sysctl -a|grep file
fs.file-nr = 12800 0 782554
fs.file-max = 782554
在 kernel 2.6 之前的版本中,file-nr 中的值由三部分组成,分别为:1.已经分配的文件句柄数,2.
已经分配单没有使用的文件句柄数,3.最大文件句柄数。但在 kernel 2.6 版本中第二项的值总为
0,这并不是一个错误,它实际上意味着已经分配的文件句柄无一浪费的都已经被使用了
file-max 的值是 linux 内核可以分配的最大文件句柄数。如果你看到了很多关于打开文件数已经达
到了最大值的错误信息,你可以试着增加该值的限制。file-max 的默认值大概是系统内存的 10%
(系统内存以 kb 计算)
停止 MooseFS
为了安全停止 MooseFS 集群,建议执行如下的步骤:
在所有客户端用 Unmount 命令先卸载文件系统(本例将是: umount /mnt/mfs)
停止 chunk server 进程: /usr/sbin/mfschunkserver stop
停止 metalogger 进程: /usr/sbin/mfsmetalogger stop
停止主控 master server 进程: /usr/sbin/mfsmaster stop