MFS分布式文件系统架构实战

MFS文件系统的组成架构:
如图

元数据服务器(Master):负责管理文件系统,维护元数据;
元数据日志服务器(c):备份Master服务器的变化日志文件;
数据存储服务器( Chunk Server):真正存储数据的服务器;
客户端(Client)可像挂载NFS一样挂载MFS文件系统

案例环境:

第一步:搭建Master server
准备工作:
service firewalld stop
setenforce 0
yum install -y zlib-devel
groupadd mfs
useradd -s /sbin/nologin -g mfs -M mfs

编译安装moosefs
tar xf moosefs-3.0.100-1.tar.gz -C /opt/
cd /opt/moosefs-3.0.100/

./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount

make && make install

拷贝相关配置模板:
cd /usr/local/mfs/etc/mfs/
cp mfsmaster.cfg.sample mfsmaster.cfg
cp mfsexports.cfg.sample mfsexports.cfg
cp mfstopology.cfg.sample mfstopology.cfg
cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs

chown mfs:mfs /usr/local/mfs/var/mfs ---设置权限
/usr/local/mfs/sbin/mfsmaster start ---启动
netstat -anpt | grep mfs

第二步:搭建MetaLogger server
与上步到编译安装处都一样操作
下面拷贝配置文件模板:
cd /usr/local/mfs/etc/mfs/
cp mfsmaster.cfg.sample mfsmaster.cfg
cp mfsexports.cfg.sample mfsexports.cfg
cp mfsmetalogger.cfg.sample mfsmetalogger.cfg

cd /usr/local/mfs/var/mfs
mv metadata.mfs.empty metadata.mfs
cd /usr/local/mfs/etc/mfs/
vi mfsmetalogger.cfg ---编辑配置文件

/usr/local/mfs/sbin/mfsmaster start ---启动
netstat -anpt | grep mfs

第三步:搭建chunkserver
与上步到编译安装处都一样操作
cd /usr/local/mfs/etc/mfs/
cp mfschunkserver.cfg.sample mfschunkserver.cfg
cp mfshdd.cfg.sample mfshdd.cfg

vi mfschunkserver.cfg
MASTER_HOST = 192.168.80.181
vi mfshdd.cfg
/data ---把数据存放在这个目录
mkdir /data
chown -R mfs:mfs /data
/usr/local/mfs/sbin/mfschunkserver start --启动

netstat -anpt | grep mfs

其他两台chunkserver相同配置即可。

第四步:客户端配置
service firewalld stop
setenforce 0
yum install -y zlib-devel

tar xzvf fuse-2.9.2.tar.gz
cd fuse-2.9.2

./configure
make && make install

vi /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
source /etc/profile
安装mfs客户端
groupadd mfs
useradd -s /sbin/nologin -g mfs -M mfs

tar xf moosefs-3.0.100-1.tar.gz -C /opt/
cd /opt/moosefs-3.0.100/

./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfschunkserver \
--enable-mfsmount

make && make install
编译安装完成
mkdir /opt/mfs
modprobe fuse
/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.80.181 //master地址
df -hT

优化客户端
vi /etc/profile
export PATH=/usr/local/mfs/bin:$PATH
source /etc/profile



mfsgetgoal -r /opt/mfs/ //查看备份目录中文件的拷贝份数
mfssetgoal -r 3 /opt/mfs/ //设置备份目录中文件的拷贝份数,不要大于chunkserver的总数
mfsgetgoal 文件名 //查看指定文件或目录的拷贝份数

-----MASTER-server-----启动监控程序--

/usr/local/mfs/sbin/mfscgiserv

http://192.168.80.181:9425/mfs.cgi?masterhost=www.aa.com //注意主机名

实验结束!

原文地址:http://blog.51cto.com/13490688/2092672

时间: 2024-10-15 20:38:38

MFS分布式文件系统架构实战的相关文章

高效实用,在centos7上搭建MFS分布式文件系统

MFS原理: MFS是一个具有容错性的网络分布式文件系统,他把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源 MFS文件系统组成: 1.元数据服务器(master) 2.元数据日志服务器(metalogger) 3.数据存储服务器(chunk server) 4.客户端(client) 下面进行MFS分布式文件系统搭建演示 案列环境: master server: 192.168.100.128 metalogger server:192.168.100.134 chunk s

MFS分布式文件系统的部署

MFS分布式文件系统的部署 MFS简介 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS文件系统的组成. 元数据服务器(master):负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):存放日志文件. 数据存储服务器(Chunk Server):真正存储数据的服务器. 客户端(client):用来挂载MFS文件文件系统的. MFS读取数据的处理过程. 1. 客户端向元数据服务器发出读请求. 2. 元

搭建 MFS 分布式文件系统

MFS分布式文件系统 MFS是一种半分布式文件系统,它是由波兰人开发的.MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展. 分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连. 分布式文件系统的优点是集中访问.简化操作.数据容灾,以及提高了文件的存取性能. MFS文件系统的组成架构: 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据: 元数据日志服务器(Metal

MFS分布式文件系统

防伪码:我没有太多坚强,只比苦难多一点 第十一章  MFS分布式文件系统 前言:几台Web服务器通过NFS共享一个存储,在业务功能上满足需求,但在性能与容量上NFS无法胜任更高的要求.MFS即moosefs,可以提供容量FB级别的共享存储,无需昂贵的专业硬件服务器,自身拥有冗余功能及动态扩容功能,保证数据的安全性.本章将介绍MFS分布式文件系统的原理及环境搭建. 一. 工作原理 1.分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的

MFS分布式文件系统之安装部署

MFS分布式文件系统之安装部署 Moose File System 是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上 管理服务器 (managing server) 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝 元数据日志服务器 (Metalogger server) 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 数据存储服务器 (d

分布式文件系统架构GFS、HDFS、TFS、Haystack

分布式文件系统架构GFS.HDFS.TFS.Haystack 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebook Haystack. 分布式文件系统通常可以作为底层存储,如GFS作为Google bigtable的底层,EBS作为 Amazon RDS的底 层,HDFS作为HBase的底层文件系统 其中,TFS,QFS以及Haystack需要解决的问题以及架构都很类似,这三个

【Linux--中级篇】MFS分布式文件系统

MFS分布式文件系统 1.实验环境 主机 操作系统 IP地址 主要软件 Master Server CentOS6.5x86_64 192.168.10.10 mfs-1.6.27-5.tar.gz MasterLogger Server CentOS6.5x86_64 192.168.10.11 mfs-1.6.27-5.tar.gz Chunk Server1 CentOS6.5x86_64 192.168.10.15 mfs-1.6.27-5.tar.gz Chunk Server2 Ce

53.MFS分布式文件系统

MFS分布式文件系统 MFS分布式文件系统是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS分布式操作系统搭建过程: v 搭建master服务器 #iptables -F #setenforce 0 #yum -y install zlib-devel #useradd mfs -s  /sbin/nologin #tar xzvf mfs-1.6.27-5.tar.gz #cd mfs.1.6.27 #./configure -

九爷带你部署Mfs分布式文件系统

Mfs分布式文件系统 前言:前面我们学习过NFS,以及虚拟化课程的时候我们学习过openfiler,这两个都是属于存储服务器.但是他们有着共同的缺点,就是性能不好,因为都是通过共享方式共享一个存储空间,使得服务器不堪重负,会出现超时的问题,而且存在着单点故障问题,尽管可以用rsync同步数据到另外一台服务器上做备份,但性能方便没有任何提升.而分布式文件系统把数据分散存储在不同的服务器上,读取数据的时候相当于同时读取,不像nfs是一对多的关系,而是多对多的关系,这样可以使得性能得到大幅提升. 今天