centos7搭建分布式文件系统MFS

1.介绍

  MooseFS是一个分布式存储的框架

2.准备工作

  系统环境:centos7

  MooseFS版本:moosefs-2.0.60-1.tar.gz

  部署机器:

      mfsmaster:172.16.10.44

      mfsMetalogger:172.16.10.45

      mfschunkserver:172.16.10.45,172.16.10.46

      mfsclient:172.16.10.43

  //一下步骤master,chunk,client等都需要执行

  安装依赖库 :yum -y install zlib-devel fuse-devel gcc make

  创建用户:useradd mfs

  解压tar包:tar xvf moosefs-2.0.60-1.tar.gz

  配置host映射:echo "172.16.10.44 mfsmaster" >> /etc/hosts

  

3.安装mfsmaster

  安装命令:cd  moosefs-2.0.60

       ./configure --prefix=/home/data/mfs --enable-mfsmount --with-default-user=mfs --with-default-group=mfs   #  prefix是指定安装路径

         make && make install && echo ok

         chown -R mfs:mfs /home/data/mfs

  文件配置:cd /home/data/mfs/etc/mfs

       cp mfsmaster.cfg.dist mfsmaster.cfg

       cp mfsexports.cfg.dist mfsexports.cfg #按照默认配置就好了

         cp /home/data/mfs/var/mfs/metadata.mfs.empty /home/data/mfs/var/mfs/metadata.mfs

       /home/data/mfs/sbin

         ./mfsmaster start

         ./mfscgiserv start #启动web监控页面,非必须

        

4.安装mfschunkserver(172.16.10.45/46都执行一遍)

  

安装命令:cd  moosefs-2.0.60

     ./configure --prefix=/home/data/mfs --enable-mfsmount --with-default-user=mfs --with-default-group=mfs   #  prefix是指定安装路径

     make && make install && echo ok

     chown -R mfs:mfs /home/data/mfs

文件配置:

      cd /home/data/mfs/etc/mfs

      cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

      echo "/home/data/mfschunk_data 200G" >> mfshdd.cfg

mkdir /home/data/mfschunk_data #保存块数据的目录

chown -R mfs.mfs /home/data/mfschunk_data

     cd /home/data/mfs/sbin

./mfschunkserver start

此时,再观察mfsmaster的状态,发现已经有20G左右的可用空间,说明chunkserver已经生效!如下图

  

5.安装mfsclient

     cd  moosefs-2.0.60

     ./configure --prefix=/home/data/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver

     make && make install && echo ok

     chown -R mfs:mfs /home/data/mfs

     cd /home/data/mfs/bin

     mkdir /home/data/mfsdata

     ./mfsmount /home/data/mfsdata -H mfsmaster #挂载

6.安装mfsmetalogger(直接在45上启动即可,单独配置一台机器安装也行)

  文件配置:

     cd /home/data/mfs/etc/mfs

       cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

     cd /home/data/mfs/sbin

./mfsmetalogger start

  

时间: 2024-10-09 19:25:52

centos7搭建分布式文件系统MFS的相关文章

分布式文件系统MFS(moosefs)实现存储共享(一)

分布式文件系统MFS(moosefs)实现存储共享 作者:田逸([email protected]) from:[url]http://net.it168.com/a2009/0403/270/000000270867.shtml[/url] 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepalived的方式),但仍然有用户反馈访问慢的问题.通过排查个服务器的情况,发现问题的根源在于共享存储服务器NFS.在我这个网络环境里,N个服务器通过nfs方式共享

分布式文件系统MFS(moosefs)实现存储共享(第二版)

作者:田逸([email protected]) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepalived的方式),但仍然有用户反馈访问慢的问题.通过排查个服务器的情况,发现问题的根源在于共享存储服务器NFS.在我这个网络环境里,N个服务器通过nfs方式共享一个服务器的存储空间,使得NFS服务器不堪重负.察看系统日志,全是nfs服务超时之类的报错.一般情况下,当nfs客户端数目较小的时候,NFS性能不会出现问题:一旦NFS服务器数目过多,并且是那种

基于mogileFS搭建分布式文件系统--海量小文件的存储利器

一.分布式文件系统    1.简介 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.分布式文件系统的设计基于客户机/服务器模式.一个典型的网络可能包括多个供多用户访问的服务器.另外,对等特性允许一些系统扮演客户机和服务器的双重角色.例如,用户可以"发表"一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样. 当下我们处在一个互联网飞速发展的信息社会,在

分布式文件系统MFS

目前常见的分布式文件系统有很多种,例如我之前一篇文章里面提到的Hadoop.FastDFS.Moosefs.PNFS(Parallel NFS).Lustre.TFS.GFS.HDFS等等一系列.在众多的分布式文件系统解决方案中,MFS是搭建比较简单.使用起来也不需要过多的修改web程序,非常方便. MooseFS(MFS)是一个分布式存储的框架,其具有如下特性: 1.Free(GPL) 2.通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs很麻烦). 3.可以在线扩容,体系

基于mogileFS搭建分布式文件系统 适用于海量小文件的存储

一.分布式文件系统 1.简介 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.分布式文件系统的设计基于客户机/服务器模式.一个典型的网络可能包括多个供多用户访问的服务器.另外,对等特性允许一些系统扮演客户机和服务器的双重角色.例如,用户可以"发表"一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样. 当下我们处在一个互联网飞速发展的信息社会,在海量并

分布式文件系统mfs(moosefs)搭建与配置

一.MFS 特性:1. Free(GPL)2. 通用文件系统,不需要修改上层应用就可以使用3. 可以在线扩容,体系架构可伸缩性极强.4. 部署简单.5. 高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能,只会加速)6. 可回收在指定时间内删除的文件( " 回收站 " 提供的是系统级别的服务,不怕误操作了,提供类似 oralce 的闪回等高级 dbms 的即时回滚特性)7. 提供 netapp,emc,ibm 等商业存储的 snapsh

53.MFS分布式文件系统

MFS分布式文件系统 MFS分布式文件系统是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS分布式操作系统搭建过程: v 搭建master服务器 #iptables -F #setenforce 0 #yum -y install zlib-devel #useradd mfs -s  /sbin/nologin #tar xzvf mfs-1.6.27-5.tar.gz #cd mfs.1.6.27 #./configure -

九爷带你部署Mfs分布式文件系统

Mfs分布式文件系统 前言:前面我们学习过NFS,以及虚拟化课程的时候我们学习过openfiler,这两个都是属于存储服务器.但是他们有着共同的缺点,就是性能不好,因为都是通过共享方式共享一个存储空间,使得服务器不堪重负,会出现超时的问题,而且存在着单点故障问题,尽管可以用rsync同步数据到另外一台服务器上做备份,但性能方便没有任何提升.而分布式文件系统把数据分散存储在不同的服务器上,读取数据的时候相当于同时读取,不像nfs是一对多的关系,而是多对多的关系,这样可以使得性能得到大幅提升. 今天

MooseFS分布式文件系统+keepalived高可用+unison和intoify实时双击同步(一)

1.  分布式文件系统mfs(moose file system) 1.1.mfs文件系统的组成 1.元数据服务器.在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当.希望今后MFS能支持多个master服务器,进一步提高系统的可靠性. 2.元数据日志服务器.备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs.当元数据服务器数据丢失或者损毁,可从日志服务器取得文件进行恢复. 3.数据存