搭建MFS分布式文件系统

  • MFS原理

    MFS 是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。

  • MFS的组成
    • 管理服务器 Master: 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝
    • 元数据日志服务器 MetaLogger: 负责备份 master 服务器的变化日志文件,文件类型为 changelog_ml.*.mfs,以便于在 master 出问题的时候。从日志服务器取得文件,进行恢复
    • 数据存储服务器 chunk servers: 听从管理服务器调度,提供存储空间,并为客户提供数据传输.。 真正存储用户数据的服务器。存储文件时,首先把文件分成块,然后这些块在数据服务器 之间复制。 数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大,可靠性也越高。
    • 客户机 client :挂载使用 挂载进程 mfs 服务器共享出的存储并使用。
    • 使用YUM安装配置
    • 添加键值:
      # curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
    • 添加适当的库条目
      # curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
    • 然后安装适当的MooseFS组件
    • 主服务器:Master
      # yum install -y moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
      # systemctl start moosefs-master    //启动主服务
      # ps -ef | grep mfs   //查看端口
    • 元数据日志服务器 Metaloggers
      # yum install -y moosefs-metalogger
      # vim mfsmetalogger.cfg
          MASTER_HOST=192.168.200.129
      # systemctl start moosefs-metalogger    //启动日志服务器

    • 数据存储服务器:Chunk

      # yum install -y moosefs-chunkserver
      # vim /etc/mfs/mfschunkserver.cfg
          MASTER_HOST = 192.168.200.130
      # vim /etc/mfs/mfshdd.cfg   //末尾添加
       /data                    //给MFS的分区,独立的分区或磁盘挂载到此目录
      # mkdir /data
      # chown -R mfs:mfs /data
      # systemctl start moosefs-chunkserver    //启动节点服务

    • 对于客户端
      # yum install -y moosefs-client
      # mkdir /mnt/mfs     创建挂接点
      # modprobe fuse    //加载fuse模块到内核
      # mfsmount /mnt/mfs -H 192.168.200.128
      # df -TH

    • 基本操作和测试
    • mfsgetgoal命令用来查询文件被复制的份数,利用-r命令可以对整个目录进行递归,goal是指文件被复制的份数。
    • mfssetgoal命令同来设置文件被复制的份数,生产环境中Chunk节点数量应至少大于2,文件副本数量小于等于Chunk服务器数量。
      # mfsgetgoal -r /mnt/mfs/
      # mfssetgoal -r 3 /mnt/mfs/
      # mfsgetgoal -r /mnt/mfs/
      # cd /mnt/mfs/
      # touch test
      # mfsgetgoal test

    • MFS监控
    • Mfscgiserv是一个用python编写的web服务器,监听端口是9425,可以在Master Server 上通过命令:mfscgiserv 来启动
    • 主服务器上开启监控
      # mfscgiserv

    • 浏览器输入 http://192.168.200.128:9425/mfs.cgi


    原文地址:http://blog.51cto.com/13630803/2150616

    时间: 2024-08-29 04:58:57

    搭建MFS分布式文件系统的相关文章

    高效实用,在centos7上搭建MFS分布式文件系统

    MFS原理: MFS是一个具有容错性的网络分布式文件系统,他把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源 MFS文件系统组成: 1.元数据服务器(master) 2.元数据日志服务器(metalogger) 3.数据存储服务器(chunk server) 4.客户端(client) 下面进行MFS分布式文件系统搭建演示 案列环境: master server: 192.168.100.128 metalogger server:192.168.100.134 chunk s

    搭建 MFS 分布式文件系统

    MFS分布式文件系统 MFS是一种半分布式文件系统,它是由波兰人开发的.MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展. 分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连. 分布式文件系统的优点是集中访问.简化操作.数据容灾,以及提高了文件的存取性能. MFS文件系统的组成架构: 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据: 元数据日志服务器(Metal

    CentOS 7下搭建MFS分布式文件系统

    MFS原理 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个服务器上,而呈现给用户的则是一个统一的资源. MFS文件系统的组成架构: 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据: 元数据日志服务器(Metalogger):备份Master服务器的变化日志文件,文件类型为changlog_ml.*.mfs.当Master服务器数据丢失或者损坏时,可以从日志服务器中取得文件,进行恢复: 数据存储服务器(Chunk Server):真正存储的数据的服务器.

    Linux搭建MFS分布式文件系统

    说明: 架构规划 元数据服务器     mfs-master-1             172.16.100.2 备份服务器       mfs-metalogger           172.16.100.4 数据存储服务器   mfs-chunkserver-1        172.16.100.5 数据存储服务器   mfs-chunkserver-2        172.16.100.6 数据存储服务器   mfs-chunkserver-3        172.16.100.

    MFS分布式文件系统

    防伪码:我没有太多坚强,只比苦难多一点 第十一章  MFS分布式文件系统 前言:几台Web服务器通过NFS共享一个存储,在业务功能上满足需求,但在性能与容量上NFS无法胜任更高的要求.MFS即moosefs,可以提供容量FB级别的共享存储,无需昂贵的专业硬件服务器,自身拥有冗余功能及动态扩容功能,保证数据的安全性.本章将介绍MFS分布式文件系统的原理及环境搭建. 一. 工作原理 1.分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的

    【Linux--中级篇】MFS分布式文件系统

    MFS分布式文件系统 1.实验环境 主机 操作系统 IP地址 主要软件 Master Server CentOS6.5x86_64 192.168.10.10 mfs-1.6.27-5.tar.gz MasterLogger Server CentOS6.5x86_64 192.168.10.11 mfs-1.6.27-5.tar.gz Chunk Server1 CentOS6.5x86_64 192.168.10.15 mfs-1.6.27-5.tar.gz Chunk Server2 Ce

    53.MFS分布式文件系统

    MFS分布式文件系统 MFS分布式文件系统是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS分布式操作系统搭建过程: v 搭建master服务器 #iptables -F #setenforce 0 #yum -y install zlib-devel #useradd mfs -s  /sbin/nologin #tar xzvf mfs-1.6.27-5.tar.gz #cd mfs.1.6.27 #./configure -

    九爷带你部署Mfs分布式文件系统

    Mfs分布式文件系统 前言:前面我们学习过NFS,以及虚拟化课程的时候我们学习过openfiler,这两个都是属于存储服务器.但是他们有着共同的缺点,就是性能不好,因为都是通过共享方式共享一个存储空间,使得服务器不堪重负,会出现超时的问题,而且存在着单点故障问题,尽管可以用rsync同步数据到另外一台服务器上做备份,但性能方便没有任何提升.而分布式文件系统把数据分散存储在不同的服务器上,读取数据的时候相当于同时读取,不像nfs是一对多的关系,而是多对多的关系,这样可以使得性能得到大幅提升. 今天

    MFS分布式文件系统的部署

    MFS分布式文件系统的部署 MFS简介 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS文件系统的组成. 元数据服务器(master):负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):存放日志文件. 数据存储服务器(Chunk Server):真正存储数据的服务器. 客户端(client):用来挂载MFS文件文件系统的. MFS读取数据的处理过程. 1. 客户端向元数据服务器发出读请求. 2. 元