mfs




mfs master 安装

建议 cp eth0 eth0:0

ifup eth0:0

修改 vim/etc/hosts

cd /home/oldboy/tools

groupadd mfs

useradd -g mfs mfs -s /sbin/nologin

yum install fuser* zlib* -y

tar zxf mfs-1.6.27-5.tar.gz

cd mfs-16.27

./configure --prefix=/application/mfs-1.6.27  --with-default-user=mfs --with-default-group=mfs

make

make install

ln -s /application/mfs-1.6.27 /application/mfs

ll /aaplication/ |grep mfs

设置用户名和组

vim mfsmaster.cfg

WORKING_USER = mfs

WORKING_GROUP = mfs

设置挂载点

cat >mfsexports.cfg<<EOF

#ALLOW "meta"

*        . rw      #启用回收站

#ALLow everything but "meta"

10.0.0.0/24  /  rw,alldirs,mppall=mfs:mfs,password=111111    #设置:网段,挂载目录,权限,用户密码

EOF

启动

cd /application/mfs/var/mfs

cp metadata.mfs.mepty metadata.mfs

echo "exprt PATH=$PATH:/application/mfs/sbin:/application/mfs/bin" >>/etc/profile

tail -l /etc/profile

/application/mfs/sbin/mfsmaster start

netstat -lntup |grep 94

echo $PATH

设置开机启动

echo "/application/mfs/sbin/mfsmaster start" >>/etc/rc.local

启动图型

mfscgiserv start

http://10.0.0.7:9425

安装backup

roupadd mfs

useradd -g mfs mfs -s /sbin/nologin

yum install fuser* zlib* -y

tar zxf mfs-1.6.27-5.tar.gz

cd mfs-16.27

./configure --prefix=/application/mfs-1.6.27  --with-default-user=mfs --with-default-group=mfs

make

make install

ln -s /application/mfs-1.6.27 /application/mfs

ll /aaplication/ |grep mfs

设置环境变量

echo "exprt PATH=$PATH:/application/mfs/sbin:/application/mfs/bin" >>/etc/profile

tail -l /etc/profile

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vim mfsmetalogger.cfg

MASTER_HOST = mfsmaster.etiantian.org  #修改maste的 ip地址或者域名

启动

/application/mfs/sbin/mfsmetalogger start

netstat -lntup |grep mfs

netstat -lntup |grep 94

netstat -an |grep -i est

chown -R mfs /application/mfs/var/mfs

tail -f /var/log/messages

设置开机启动

echo "/application/mfs/sbin/mfsmetalogger start" >>/etc/rc.local

data安装

roupadd mfs

useradd -g mfs mfs -s /sbin/nologin

yum install fuser* zlib* -y

tar zxf mfs-1.6.27-5.tar.gz

cd mfs-16.27

./configure --prefix=/application/mfs-1.6.27  --with-default-user=mfs --with-default-group=mfs

make

make install

ln -s /application/mfs-1.6.27 /application/mfs

ll /aaplication/ |grep mfs

设置环境变量

echo "exprt PATH=$PATH:/application/mfs/sbin:/application/mfs/bin" >>/etc/profile

tail -l /etc/profile

vim mfschunkserver.cfg

MASTER_HOST = mfsmaster.etiantian.org # 修改master ip地址或者域名

修改挂载目录

vim /application/mfs/etc/mfs/mfshdd.cfg

/msfdata #可以设置多个

chown -R mfs.mfs /msfdata

启动

/application/mfs/sbin/mfschunkserver start

vim mfschunkserver.cfg

其它几台server 安装一样

安装客户端

如果客户端没有fuse 需要安装

wget http://nchc.dl.sourceforge.net/project/fuse/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz

./configure

make

make install

roupadd mfs

useradd -g mfs mfs -s /sbin/nologin

yum install fuser* zlib* -y

tar zxf mfs-1.6.27-5.tar.gz

cd mfs-16.27

./configure --prefix=/application/mfs-1.6.27  --with-default-user=mfs --with-default-group=mfs

make

make install

ln -s /application/mfs-1.6.27 /application/mfs

ll /aaplication/ |grep mfs

方法(1)设置开机自动加载fuse到内核

echo "/modprobe fuse" >/etc/sysconfig/modules/fuse.modules

chmod 755 /etc/sysconfig/modules/fuse.modules

方法(2)设置开机自动加载fuse到内核

echo "modprobe fuse" >>/etc/ec.modules

chmod 755 /etc/rc.modules

挂载

/application/mfs/bin/mfsmount /mnt/mfs -H mfsmster.etiantian.org -o mfspassword=111111

搭建完成

随便创建几个文件 分别在master和backup查看日志

cat /application/mfs/var/mfs/changelog_ml

查看文件命令

mfsfileinfo 1

设置副本:为3份

mfssetgoal -r 3 a1

查看数量

mfsfileinfo al/10

测试

创建文件

dd if=/dev/zero of=/mnt/mfs/test/10m.img bs=1M count=10

mfsfileinfo test/10m.img

查看删除文件时间

mfsgettrashtime 10m.img

设置文件删除时间

mfssettrashtime -r 1200 /a2

客户端挂载回收站

mfsmaster.etiantian.org -m /mnt/mfs-trash/

还原文件

移动删除的文件到 undel下即可

mv 0000002\|a2\|oldboy.txt undel/

 备份master与master恢复1

需要备份下面两个文件

/application/mfs/var/

/application/mfs//etc/

脚本

while true

do

cd /application/mfs

rsyrc -azv var /opt/ >/dev/null 2>&1

rsyrc -azv etc /opt/ >/dev/null 2>&1

usleep 500000

done

sh -x bakmeta.sh

sh  bakmeta.sh &

恢复master

新安装机器用上面备份的文件直接覆盖即可

mfsmetarestore -a

/application/mfs/sbin/mfsmaster start

客户端需要重新挂载

umount /mnt/mfs

/application/mfs/bin/mfsmount /mnt/mfs -H mfsmster.etiantian.org -o mfspassword=111111

 备份master与master恢复2

首先该ip地址

建议 cp eth0 eth0:0

ifup eth0:0

修改 vim/etc/hosts

把上面备份好的rsyrc -azv etc /opt/ 拷贝到 /application/mfs 下面

mfsmetalogger -s

cd /application/mfs

mfsmetalogger -m metadata_ml.mfs.back* -o metadata.mfs changelog_ml*

mfsmaster start

netstat -lntup |grep 94

mfscgiserv start

 解决单点故障

利用keepalived+inotify 实现 mfs master的高可用

时间: 2024-08-28 19:56:50

mfs的相关文章

mfs分布式系统使用总结

mfs 挂载点  /mnt/mfs 一.模拟:客户端误删除源码包 恢复流程: a) ./reserved ./trash 出现这两个目录 b) ./trash下,有一个./undel的目录,还有一些被删除的以8位16进制命名的目录,并且以"|"作为目录符号,再加上被删除文件名字.(如果文件名字大于系统支持的255最大长度时,将从左到右进行裁剪,直到满足255) 规则:00000009|1,1代表删除的文件. 0000002E|123|tst 代表123目录下tst文件,如果123目录被

mfs故障迁移

迁移测试 1.  安装新的MFS元数据服务器. 2.  复制元数据服务器数据目录(/usr/local/mfs/var/mfs)到这个新的元数据服务器. 3.  停止原先的那个元数据服务器(关闭计算机或停止它的网络服务). 4.  更改新的元数据服务器的ip为原来那个服务器的ip. 5.  启动新的元数据服务 /usr/local/mfs/sbin/mfsmaster start 6.  在MFS客户端检查MFS存储的数据是否跟恢复前一致?能否正常访问等等. 参考地址:http://sery.b

MFS分布式文件系统安装配置

一.地址规划 主控服务器MasterServer:192.168.11.100            安装Master角色 元数据日志服务器MetaLoggerServer:192.168.11.103          安装metalogger角色 存储服务器Chunk Server:192.168.11.102  192.168.11.110        安装chunkserver角色 客户端Client:192.168.11.111               安装mfsmount角色和

MFS分布式文件系统管理

MFS官方网站http://www.moosefs.org/reference-guide.html mooseFS(moose驼鹿)是一款网络分布式文件系统,它把数据分散到多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时)可以创建特殊的文件(块设备,字符设备,管道,套接字)符号链接. MooseFS文件系统介绍: MooseFS是一中分布式文件系统,MooseFS文件系统结构包括一下四种角色: 1

mfs理论知识

moosefs理论 mfs的优势: 1. Free(GPL) 2. 通用文件系统,不需要修改上层应用就可以使用 3. 可以在线扩容,体系架构可伸缩性极强 4. 部署简单 5. 高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能,只会加速!) 6. 可回收在指定时间内删除的文件("回收站"提供的是系统级别的服务,不怕误操作了,提供类似 oralce 的闪回等高级 dbms 的即时回滚特性!) 7. 提供 netapp,emc,ibm 等商

centos6.3配置MFS服务器

一.简介 MooseFS(Moose File System,mfs)是一种分布式文件系统,它将数据分布在网络中的不同服务器上,支持FUSE(用户空间文件系统Filesystem in Userspace,简称FUSE),客户端挂载后可以作为一个 普通的Unix 文件系统使用MooseFS. MooseFS中共有四种角色:主控服务器master server.主控备份服务器metalogger server.存储块服务器chunkserver.客户端主机client. 主控服务器负责各个存储服务

mfs分布式存储搭建应用

  MFS 分布式存储的运行方式 MFS工作原理 MooseFS是一款具有冗余容错功能的分布式文件系统.它把数据分散在多台服务器上,确保一份数据多个备份副本,对外提供统一的结构. 功能特性 对于标准的文件操作,MooseFS表现与其他类Unix文件系统一致.支持的通过文件系统特性: · 层次结构(目录树) · 兼容POSIX文件属性 · 支持特殊文件 · 符号链接和硬链接 · 基于IP地址和密码的访问控制 独有特性 · 高可靠性(数据的多个副本存储在不同服务器) · 容量动态扩展(添加新硬盘或者

MFS分布式文件系统

防伪码:我没有太多坚强,只比苦难多一点 第十一章  MFS分布式文件系统 前言:几台Web服务器通过NFS共享一个存储,在业务功能上满足需求,但在性能与容量上NFS无法胜任更高的要求.MFS即moosefs,可以提供容量FB级别的共享存储,无需昂贵的专业硬件服务器,自身拥有冗余功能及动态扩容功能,保证数据的安全性.本章将介绍MFS分布式文件系统的原理及环境搭建. 一. 工作原理 1.分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的

MooseFS 分布式文件介绍+部署 MFS

官网:http://www.moosefs.org 1.MooseFS是什么 一个类MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器或单独磁盘或分区上,确保一份数据有多个备份副本,然而对于访问MFS的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样,从其对文件系统的情况看MooseFS就相当于UNIX的文件系统(ext3.ext4.nfs): a.mfs是一个分层的目录树结构 b.存储支持POSIX标准的文件属性(权限,最后访问和修改