九爷带你部署Mfs分布式文件系统

Mfs分布式文件系统

前言：前面我们学习过NFS，以及虚拟化课程的时候我们学习过openfiler，这两个都是属于存储服务器。但是他们有着共同的缺点，就是性能不好，因为都是通过共享方式共享一个存储空间，使得服务器不堪重负，会出现超时的问题，而且存在着单点故障问题，尽管可以用rsync同步数据到另外一台服务器上做备份，但性能方便没有任何提升。而分布式文件系统把数据分散存储在不同的服务器上，读取数据的时候相当于同时读取，不像nfs是一对多的关系，而是多对多的关系，这样可以使得性能得到大幅提升。

今天我们学习使用MFS搭建分布式文件系统，MFS具有容错功能，高可用，可扩展的功能。MFS把数据分散在多台服务器上，但用户看到的只是一个源。

  • 客户端向元数据服务器发出读请求
  • 元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端
  • 客户端向已知的Chunk Server请求发送数据
  • Chunk Server向客户端发送数据

    3）写入的过程

  • 客户端向元数据服务器发送写入请求
  • 元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由Chunk Servers告知元数据服务器操作成功
  • 元数据服务器告知客户端，可以在哪个Chunk Server的哪些Chunks写入数据
  • 客户端向指定的Chunk Server写入数据
  • 该Chunk Server与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功
  • 客户端告知元数据服务器本次写入完毕
  1. 实验环境
  2. 实验拓扑

  3. 虚拟机环境

  4. 实验步骤
  5. 搭建master server
  6. 停止防火墙并且安装支持包

  7. 创建用户

  8. 安装源码包

    [[email protected]3 ~]# tar zxf mfs-1.6.27-5.tar.gz

    [[email protected]3 ~]# cd mfs-1.6.27

    [[email protected]3 mfs-1.6.27]# ./configure \

    > --prefix=/usr/local/mfs \//指定安装目录

    > --with-default-user=mfs \//指定程序运行用户

    > --with-default-group=mfs \//指定程序运行组

    > --disable-mfschunkserver  \//禁用Chunk功能

    > --disable-mfsmount    \//禁用mfsmount功能

    [[email protected]3 mfs-1.6.27]# make && make install //编译安装

    4）复制文件（设置配置文件）

    [[email protected]3 mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/

    [[email protected]3 mfs]# ls

    mfsexports.cfg.dist  mfsmetalogger.cfg.dist

    mfsmaster.cfg.dist          mfstopology.cfg.dist

    [[email protected]3 mfs]# cp mfsexports.cfg.dist  mfsexports.cfg

    [[email protected]3 mfs]# cp mfsmaster.cfg.dist  mfsmaster.cfg

    [[email protected]3 mfs]# cp mfstopology.cfg.dist  mfstopology.cfg

    [[email protected]3 mfs]# cd /usr/local/mfs/var/mfs/

    [[email protected]3 mfs]# ls

    metadata.mfs.empty

    [[email protected] mfs]# cp metadata.mfs.empty  metadata.mfs

    这个文件存放master的变化信息

  9. 配置文件（下面的只是介绍一下，不用修改，默认就好）

    需要用到两个配置文件：mfsmaster.cfg（主配置文件）和mfsexport.cfg（被挂载目录及访问权限）

    mfsmaster.cfg常用的参数如下，默认全部都是不需要修改的，全文都是以#开头，也就是说都是默认配置

    [[email protected] mfs]# cd /usr/local/mfs/etc/mfs/

    [[email protected] mfs]# vim mfsmaster.cfg

    WORKING_USER = mfs//运行masterserver的用户

    # WORKING_GROUP = mfs//运行masterserver的组

    # SYSLOG_IDENT = mfsmaster//masterserver在syslog的标示，说明是由masterserver产生的

    # LOCK_MEMORY = 0//是否执行mlokall()，以避免mfsmaster进程溢出默认为0

    # NICE_LEVEL = -19//运行的优先级，进程必须由root启动

    # EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg

    //被挂载目录及其权限控制文件的存放位置

    # TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

    # DATA_PATH = /usr/local/mfs/var/mfs//数据存放路径

    # BACK_LOGS = 50 //metadata改变的log文件数目（默认是50）

    # BACK_META_KEEP_PREVIOUS = 1

    # REPLICATIONS_DELAY_INIT = 300  //延迟复制的时间（默认300）

    # REPLICATIONS_DELAY_DISCONNECT = 3600  //Chunkserver断开复制延迟（默认是3600秒）

    # MATOML_LISTEN_HOST = *//metalogger监听的IP地址默认是所有地址

    # MATOML_LISTEN_PORT = 9419//metalogger监听的端口地址（默认为9419）

    # MATOML_LOG_PRESERVE_SECONDS = 600

    # MATOCL_LISTEN_HOST = * //用于chunkserver连接的IP地址（默认为*代表所有IP）

    # MATOCL_LISTEN_PORT = 9421//用户客户端挂在的监听端口9421

    # CHUNKS_LOOP_MAX_CPS = 100000

    # CHUNKS_LOOP_MIN_TIME = 300//chunks的回环频率（默认300）

    # CHUNKS_SOFT_DEL_LIMIT = 10

    # CHUNKS_HARD_DEL_LIMIT = 25

    # CHUNKS_WRITE_REP_LIMIT = 2 //在一个循环里复制到另外一个Chunkserver的最大Chunk数

    # CHUNKS_READ_REP_LIMIT = 10//在一个循环里从一个Chunkserver复制的的最大Chunk数

    # ACCEPTABLE_DIFFERENCE = 0.1

    # SESSION_SUSTAIN_TIME = 86400

    # REJECT_OLD_CLIENTS = 0//弹出低于1.6.0的客户端挂接（0或1，默认是0）

    # deprecated:

    # CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

    # LOCK_FILE - lock system has been changed, and this option is used onl

    y to search for old lockfile

    mfsexport.cfg文件参数格式如下

    # Allow everything but "meta".

    *          /       rw,alldirs,maproot=0

    # Allow "meta".

    *                       .       rw

    该文件，每一个条目分为三个部分

    第一部分：客户端IP地址

    第二部分：被挂载的目录

    第三部分：客户端拥有的权限

    地址可以指定几种表现形式

    *代表所有的IP地址

    n.n.n.n单个ip地址

    n.n.n.n/bIP网络地址/位数掩码

    n.n.n.n/m.m.m.m IP网络地址/子网掩码

    f.f.f.f-t.t.t.t IP段

    目录部分的标示如下

    /标示MFS根

    .表示MFSMETA文件系统

    权限部分如下所示

    ro——只读模式共享

    rw——读写模式共享

    alldirs——允许挂载任何指定的子目录

    maproot——映射为root，还是普通用户

    password——指定客户端的密码

    以上就是对mfsmaster.cfg和mfsexport文件的解释，默认就是最好的，不需要做任任何修改。

  10. 启动master server

    第一遍启动的时候，可能会出现以下错误信息

    [[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster  start

    loading sessions ... file not found

    如果出现以上信息，则关闭服务并重新启动就可以了

    [[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster  -s

    -s 表示停止服务

    [[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster  start

    再启动就不会出现任何信息

  11. 查看是否启动

8）建立防火墙规则

[[email protected] mfs]# iptables -I INPUT -p tcp --dport 9419 -j ACCEPT

[[email protected] mfs]# iptables -I INPUT -p tcp --dport 9420 -j ACCEPT

[[email protected] mfs]# iptables -I INPUT -p tcp --dport 9421 -j ACCEPT

[[email protected] mfs]# service iptables save

  1. 搭建metalogger server

    1）安装mfs（同上）

  1. Useradd mfs  -s  /sbin/nologin

  2. 复制文件

    3）修改配置文件，添加master服务器的ip地址（注意去掉注释和空格）

  3. 开启服务

    5）查看端口

    [[email protected]5 mfs]# netstat -anpt | grep 9419

    tcp        0      0 192.168.1.2:50929           192.168.1.1:9419            ESTABLISHED 53533/mfsmetalogger

    [[email protected]5 mfs]# iptables -I INPUT -p tcp --dport 9419 -j ACCEPT

    [[email protected]5 mfs]# service iptables save

  4. 搭建chunk server（二台chunk的搭建步骤相同）
  5. 安装mfs（同上）

  6. 复制文件
  7. Cd /usr/local/mfs/etc/mfs
  8. Cp mfschunkserver.cfg.dist mfschunkserver.cfg
  9. Cp mfshdd.cfg.dist mfshdd.cfg
  10. Vi mfschunkserver.cfg

  1. 修改配置文件（一共2个）

     vim mfschunkserver.cfg

vim mfshdd.cfg（添加/data）


  1. 建立文件夹并开启服务

  2. 开启例外

    [[email protected]5 mfs]# ps -ef | grep mfs

    mfs       56269      1  0 20:54 ?        00:00:00 /usr/local/mfs/sbin/mfschunkserver start

    root      56297  48740  0 20:54 pts/0    00:00:00 grep mfs

    [[email protected]5 mfs]# iptables -I INPUT -p tcp --dport 9422 -j ACCEPT

    [[email protected]5 mfs]# service iptables save

    注意：第二台chunk的配置和上面的配置完全一样，这里就不在说明了

  3. 客户端配置
  4. 安装fuseMFS（客户端依赖于FUSE）

  5. 设置环境变量

    添加下面这行

    export  PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

  6. 安装MFS客户端

  7. 挂载文件系统

  8. 查看挂载情况

  9. 设置文件被复制的份数并测试

    MFS客户端安装完毕后，会生成/usr/local/mfs/bin/目录，在这个目录下有很多命令是用户所需的。

    mfsgetgoal命令用来查看文件被复制的分数，利用-r命令可以对整个目录进行递归，goal是指文件比复制的分数。

    [[email protected] mfs-1.6.27]# mfsgetgoal  -r /mnt/mfs/

    /mnt/mfs/:

    directories with goal  1 :          1

    由于还没有设置，默认为1份

    命令mfssetgoal用来设置文件被复制的分数，生产环境下Chunk server节点数量应大于2，文件副本数小于Chunk server服务器的数量。由于我有二台Chunk server 我将副本数量设置为1

    在vim  /etc/profile文件中增加一行（为了方便执行命令）

    设置查询文件被复制的份数：

    在/mnt/mfs中建立文件

    分别打开两台chunk查看/data下，都产生了加密的数据，说明成功了

5、mfs监控

mfscgiserv是用python编写的一个web服务器，其监听端口是9425，可以再masster server 上通过 /usr/local/mfs/sbin/mfscgiserv来启动，用户利用浏览器就可以完全监控所有客户挂接、Chunk server、Master server等。

在一台客户端上通过浏览器访问http://192.168.1.1:9425

 

[[email protected]3 mfs]# /usr/local/mfs/sbin/mfscgiserv

lockfile created and locked

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi)

[[email protected]3 mfs]# iptables -I INPUT -p tcp --dport 9425 -j ACCEPT    


 



  1. 灾难恢复

    MFS维护及灾难恢复

    1）MFS集群的启动与停止

    MFS集群的启动顺序如下

    （1）启动mfsmaster进程

    （2）启动所有的mfsChunkserver进程

    （3）启动mfsmetalogger进程

    （4）在所有客户端上挂载NFS文件系统

    MFS集群的停止顺序如下

    （1）在所有客户端卸载MFS挂载

    （2）停止Chunkserver进程

    （3）停止mfsmetalogger进程

    （4）停止mfsmaster进程

    2）MFS灾难恢复

    整个MFS体系中，直接断电只有master server进程有可能无法启动，可以在master上使用命令/usr/local/mfs/sbin/mfsmetarestore -a修复

    我们将master server 直接断电（必须运行的时间够20分钟才可以断电，否则数据很有可能直接丢失）

    [[email protected] ~]# /usr/local/mfs/sbin/mfsmaster start

    init: file system manager failed !!!

    error occured during initialization - exiting

    [[email protected] ~]# /usr/local/mfs/sbin/mfsmetarestore -a

    loading objects (files,directories,etc.) ... ok

    loading names ... ok

    loading deletion timestamps ... ok

    loading chunks data ... ok

    checking filesystem consistency ... ok

    connecting files and chunks ... ok

    progress: current change: 0 (first:0 - last:0 - 100% - ETA:finished)

    store metadata into file: /usr/local/mfs/var/mfs/metadata.mfs

    [[email protected] ~]# /usr/local/mfs/sbin/mfsmaster  start

  2. 从MetaLogger中恢复

    MFS元数据通常有两部分的数据，分别如下

    （1）主要元数据文件metadata.mfs，当mfsmaster运行时会被命名为metadata.back.mfs。

    （2）元数据改变日志 changelog.*.mfs，存储了过去N小时的文件变更。

    在Master 发生故障时，可以从MetaLogger中恢复，步骤如下

    （1）安装一台mfsmaster，利用同样的配置来配置这台mfsmaster，mfsmaster进程先不要启动

    （2）将metalogger上/usr/local/mfs/var/mfs/目录下所有文件复制到mfsmaster相应的目录中。

    [[email protected] mfs]# scp [email protected]:/usr/local/mfs/var/mfs/* /usr/local/mfs/var/mfs/

    [[email protected] mfs]# /usr/local/mfs/sbin/mfsmetarestore  -m metadata_ml.mfs.back -o metadata.mfs changelog_ml.*.mfs

    loading objects (files,directories,etc.) ... ok

    loading names ... ok

    loading deletion timestamps ... ok

    loading chunks data ... ok

    checking filesystem consistency ... ok

    connecting files and chunks ... ok

    changelog_ml.0.mfs:1: version mismatch

    [[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster  start

    [[email protected] mfs]# ls

    Ceshi

    注意:如果是全新安装的master，恢复数据后，需要更改metalogger和chunkserver，配置MASTER_HOST的ip地址，客户端也需要重新挂载mfs目录。

时间： 2024-10-05 04:58:27

九爷带你部署Mfs分布式文件系统的相关文章

我不是九爷 带你了解 Hadoop分布式文件系统设计要点与架构

Hadoop分布式文件系统设计要点与架构 Hadoop简介:一个分布式系统基础架构,由Apache基金会开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储.Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上.而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(lar

在CentOS7上部署MFS分布式文件系统

MFS原理 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. 1)MFS文件系统的组成 MFS文件系统的组成架构如图所示. 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,文件类型为changelog_ml.*.mfs.当Master服务器数据丢失或者损坏时,可以从日志服务器中取得文件,进行恢复. 数据存储服务器(Chunk

轻松部署MFS分布式文件系统 【内附源码包】

MFS概述 MFS是一种分布式文件系统,它把数据分散存放在多个物理服务器上,前面只放置一台负责"调度"元数据服务器,最终呈现给用户的则是一个统一的资源.优点:相对于集中式文件系统来说,分布式系统拥有更好的扩展性.稳定性.数据的安全性.缺点:master只能做单点,会出现单点故障 常规特征 对标准的文件操作来说,mfs用起来跟其它的类unix系统类似:1.分层次的结构(目录树)2.存储POSIX文件属性(权限.最后访问和修改时间)3.支持特殊文件(块和字符设备.管道以及套接字)4.符号连

MFS分布式文件系统之安装部署

MFS分布式文件系统之安装部署 Moose File System 是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上 管理服务器 (managing server) 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝 元数据日志服务器 (Metalogger server) 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 数据存储服务器 (d

MFS分布式文件系统的部署

MFS分布式文件系统的部署 MFS简介 MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS文件系统的组成. 元数据服务器(master):负责管理文件系统,维护元数据. 元数据日志服务器(MetaLogger):存放日志文件. 数据存储服务器(Chunk Server):真正存储数据的服务器. 客户端(client):用来挂载MFS文件文件系统的. MFS读取数据的处理过程. 1. 客户端向元数据服务器发出读请求. 2. 元

搭建 MFS 分布式文件系统

MFS分布式文件系统 MFS是一种半分布式文件系统,它是由波兰人开发的.MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展. 分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连. 分布式文件系统的优点是集中访问.简化操作.数据容灾,以及提高了文件的存取性能. MFS文件系统的组成架构: 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据: 元数据日志服务器(Metal

linux mfs分布式文件系统

mosefs介绍: mooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类UNIX文件系统一样,包含了层级结构(目录树),存储着文件属性(权限.最后访问和修改时间),常见特殊的文件(块设备.字符设备.管道.套接字),符号链接,硬链接.MooseFS[MFS]是一个具有容错性的网络分布式文件系统.它把数据分散存放在多个物理服务器上,但呈现给用户的则是一个统一的资源当我们存储服务器的容量达到瓶颈之后,那我们就需要采用

MFS分布式文件系统

防伪码:我没有太多坚强,只比苦难多一点 第十一章  MFS分布式文件系统 前言:几台Web服务器通过NFS共享一个存储,在业务功能上满足需求,但在性能与容量上NFS无法胜任更高的要求.MFS即moosefs,可以提供容量FB级别的共享存储,无需昂贵的专业硬件服务器,自身拥有冗余功能及动态扩容功能,保证数据的安全性.本章将介绍MFS分布式文件系统的原理及环境搭建. 一. 工作原理 1.分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的

【Linux--中级篇】MFS分布式文件系统

MFS分布式文件系统 1.实验环境 主机 操作系统 IP地址 主要软件 Master Server CentOS6.5x86_64 192.168.10.10 mfs-1.6.27-5.tar.gz MasterLogger Server CentOS6.5x86_64 192.168.10.11 mfs-1.6.27-5.tar.gz Chunk Server1 CentOS6.5x86_64 192.168.10.15 mfs-1.6.27-5.tar.gz Chunk Server2 Ce