分布式文件存储系统 mogilefs 的使用（2）

六、将tracker、mogstored、mariadb组装成完整的mogilefs系统，并测试使用

在三个节点中任选一个，启动mogilefsd服务，然后使用mogadm添加各项组件
  比如：node1上启动服务：
[[email protected] mogilefs]# service mogilefsd start
Starting mogilefsd                                         [  OK  ]
对此节点做检测：
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 check

Checking trackers...  172.16.20.50:7001 ... OK
Checking hosts...No devices found on tracker(s).

mogilefs各种组件的组装时通过mogadm 命令来添加的。
使用 “ # mogadm --help” 可以查看用法

（一）添加主机host

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore1 --ip=172.16.20.50 --status=alive
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore2 --ip=172.16.20.100 --status=alive
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore3 --ip=172.16.20.150 --status=alive
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 host list
mogstore1 [1]: alive  IP:       172.16.20.50:7500
mogstore2 [2]: alive  IP:       172.16.20.100:7500
mogstore3 [3]: alive  IP:       172.16.20.150:7500

（二）添加设备

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore1 1
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore2 2
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore3 3
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 device list
mogstore1 [1]: alive    used(G)    free(G)   total(G)  weight(%)   dev1: 
              alive      0.000      0.000      0.000        100
mogstore2 [2]: alive    used(G)    free(G)   total(G)  weight(%)   dev2: 
              alive      0.000      0.000      0.000        100
mogstore3 [3]: alive    used(G)    free(G)   total(G)  weight(%)   dev3: 
              alive      0.000      0.000      0.000        100

问题：在添加设备后，用设备显示命令查看结果，total都是0，而原来我们设定的是10G，产生这样结果的原因是程序没有读取到设备造成的。通过“ps aux”命令可以查看到，mogstored守护进程的属主是mogilefs，但是设备的属主和属组都是root，其他用户也没有rw权限，mogilefs没法使用挂载的分区。

[[email protected] mogilefs]# ps aux | grep mogstored
mogilefs  10966  0.0  1.4 229224 14368 ?        Ssl  17:54   0:00 mogstored
mogilefs  10968  0.0  0.2 122900  2708 ?        S    17:54   0:00 mogstored [diskusage]
mogilefs  10969  0.0  0.2 122900  2684 ?        S    17:54   0:00 mogstored [iostat]
root      11448  0.0  0.0 103252   840 pts/1    S+   18:21   0:00 grep mogstored
[[email protected] mogilefs]# ll /mogstore/
total 20
drwxr-xr-x 2 root root  4096 Jun 27 17:47 dev2
drwx------ 2 root root 16384 Jun 27 11:33 lost+found

修改3个节点相关目录属主和属组，并重新查看
# chown -R mogilefs:mogilefs /mogstore

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 device list
mogstore1 [1]: alive      used(G)    free(G)   total(G)  weight(%)   dev1:
               alive      0.021      9.196      9.218        100
mogstore2 [2]: alive      used(G)    free(G)   total(G)  weight(%)   dev2:
               alive      0.021      9.196      9.218        100
mogstore3 [3]: alive      used(G)    free(G)   total(G)  weight(%)   dev3:
               alive      0.021      9.196      9.218        100

设备已经可用！

（三）添加domain

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add images
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add conffiles
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add rpms
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 domain list
 domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
 conffiles            default                   2        MultipleHosts() NONE

images               default                   2        MultipleHosts() NONE

rpms                 default                   2        MultipleHosts() NONE
（四）添加class
通过“# mogadm --tracker=172.16.20.50:7001 class”可获得class的相关帮助：

  mogadm class add <domain> <class> [opts]           Add a file class to a domain.
  mogadm class delete <domain> <class>               Delete a file class from a domain.
  mogadm class list                                  List all classes, for each domain.
  mogadm class modify <domain> <class> [opts]        Modify properties of a file class.

通过“# mogadm --tracker=172.16.20.50:7001 class add”可获得class add的相关帮助：
  mogadm class add <domain> <class> [opts]           Add a file class to a domain.

<class>              Name of class to add.
      <domain>             Domain to add class to.
      --hashtype=s         Hash algorithm string (‘MD5‘, ‘NONE‘).
      --mindevcount=i      Minimum number of replicas.
      --replpolicy=s       Replication policy string.

依此类推

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 class add rpms nginxs --mindevcount 3
[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 class list
 domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
 conffiles            default                   2        MultipleHosts() NONE

images               default                   2        MultipleHosts() NONE

rpms                 default                   2        MultipleHosts() NONE  
 rpms                 nginxs                    3        MultipleHosts() NONE

（五）上传文件使用


[[email protected] mogilefs]# mogupload
Usage: /usr/bin/mogupload --trackers=host --domain=foo --key=‘/hello.jpg‘ --file=‘./hello.jpg‘

[[email protected] mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"

[[email protected] mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="/nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"

上传的文件，如果是图片，可以直接打开，如果是其他类型，根据浏览器设置，有可能直接下载（如上面的nginx程序包）

[[email protected] mogilefs]# mogadm --tracker=172.16.20.50:7001 class modify images default --mindevcount=3
[[email protected] mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=images --key="/3.jpg"

- file: /3.jpg
     class:              default
  devcount:                    3
    domain:               images
       fid:                    7
       key:               /3.jpg
    length:               662705
 - http://172.16.20.150:7500/dev3/0/000/000/0000000007.fid
 - http://172.16.20.50:7500/dev1/0/000/000/0000000007.fid
 - http://172.16.20.100:7500/dev2/0/000/000/0000000007.fid

[[email protected] mogilefs]# mogupload --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab" --file="/etc/fstab"

[[email protected] mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab"

- file: /fstab
     class:              default
  devcount:                    2
    domain:            conffiles
       fid:                    8
       key:               /fstab
    length:                 1076
 - http://172.16.20.150:7500/dev3/0/000/000/0000000008.fid
 -

http://172.16.20.100:7500/dev2/0/000/000/0000000008.fid

删除class：
[[email protected] mogilefs]# mogadm --trackers=172.16.20.50:7001 class delete rpms nginxs
[[email protected] mogilefs]# mogadm --trackers=172.16.20.50:7001 class list

domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
 conffiles            default                   2        MultipleHosts() NONE

images               default                   3        MultipleHosts() NONE

rpms                 default                   3        MultipleHosts() NONE

注：
1、无论是删除domain、class还是host，只要里面包含有文件，都不能删除。
2、要删除domain，必须先确保里面除default外没有新加的class

七、高可用说明

在此处的三个节点中都提供了tracker和mogstored，只要都启动tracker和mogstored， 就提供了tracker和mogstored的高可用。
确保node2和node3的”/etc/mogilefs/mogilefsd.conf“文件与node1配置好的文件一致，除了监听地址修改为节点自己的IP：
listen = 172.16.20.100:7001
listen = 172.16.20.150:7001

# service mogilefsd start

此时，可以通过任意一个节点的tracker访问：
# mogadm --trackers=172.16.20.10:7001,172.16.20.150:7001,172.16.20.50:7001 host list

注：虽然有错误IP，但只要有一个IP是正确的，都可以执行成功

八、通过nginx反向代理实现存储文件的快捷访问

没有反向代理时，要通过浏览器访问则只能将长长的pid路径复制到地址栏才可以，极不方便。
而nginx支持各种各样的模块，其中就有一个模块能让我们实现快捷访问。

详细帮助文档查看nginx官网网页：
http://www.grid.net.ru/nginx/mogilefs.en.html

因为node1节点上的程序没有使用80端口的，所以，此次就用node1上安装nginx做反代。
yum安装的nginx不支持此扩展模块，需编译安装。

（一）编译安装nginx


确保编译的环境——两个程序包组已经安装：
Development tools
Server Platform Development

安装pcre-devel-7.8-6.el6.x86_64.rpm  程序包：
# yum -y install pcre-devel

# groupadd -r nginx
# useradd -r -g nginx nginx

下载nginx源码包，版本一般不要太新，生产环境以稳为前提。
nginx-1.6.2.tar.gz
nginx_mogilefs_module-1.0.4.tar.gz

# ./configure --prefix=/usr/local/nginx >   --sbin-path=/usr/local/nginx/sbin/nginx >   --conf-path=/etc/nginx/nginx.conf >   --error-log-path=/var/log/nginx/error.log >   --http-log-path=/var/log/nginx/access.log >   --pid-path=/var/run/nginx/nginx.pid  >   --lock-path=/var/lock/nginx.lock >   --user=nginx >   --group=nginx >   --with-http_ssl_module >   --with-http_flv_module >   --with-http_stub_status_module >   --with-http_gzip_static_module >   --http-client-body-temp-path=/var/tmp/nginx/client/ >   --http-proxy-temp-path=/var/tmp/nginx/proxy/ >   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ >   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi >   --http-scgi-temp-path=/var/tmp/nginx/scgi >   --with-pcre  >    --add-module=/root/nginx_mogilefs_module-1.0.4

编译过程有以下显示：
adding module in /root/nginx_mogilefs_module-1.0.4
 + ngx_http_mogilefs_module was configured

# mkdir -pv /var/tmp/nginx/{client,proxy,uwsgi}

提供服务脚本：
# vim /etc/rc.d/init.d/nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse #               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed ‘s/[^*]*--user=\([^ ]*\).*/\1/g‘ -`
   options=`$nginx -V 2>&1 | grep ‘configure arguments:‘`
   for opt in $options; do
       if [ `echo $opt | grep ‘.*-temp-path‘` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# service nginx restart
网页访问正常：

（二）修改nginx配置文件，提供mogilefs的反向代理

# vim /etc/nginx/nginx.conf

  worker_processes  1;
  events {
      worker_connections  1024;
  }
  http {
      include       mime.types;
      default_type  application/octet-stream;
      sendfile        on;
  
      keepalive_timeout  65;
  
      upstream mogtrackers {
         server 172.16.20.50:7001;
         server 172.16.20.100:7001;
         server 172.16.20.150:7001;
      }
      server {
          listen       80;
          server_name  localhost;
          location / {
              root   html;
              index  index.html index.htm;
          }        
   location /images {
       mogilefs_tracker mogtrackers;
       mogilefs_domain images;
       mogilefs_pass {
    proxy_pass $mogilefs_path;
    proxy_hide_header Content-Type;
    proxy_buffering off;
       }
   }
   location /upload {
      allow 172.16.0.0/16;
      deny all;
      mogilefs_tracker 172.16.20.50:7001;
      mogilefs_domain images;
      mogilefs_methods PUT DELETE;
      mogilefs_pass {
    proxy_pass $mogilefs_path;
    proxy_hide_header Content-Type;
    proxy_buffering off;
      }
   }
          error_page   500 502 503 504  /50x.html;
          location = /50x.html {
              root   html;
          }
      }
  }

# service nginx configtest
# service nginx reload

浏览器查看结果，代理设置成功：

这里只设置了images 域的反向代理，需要其他域的反向代理，只需要再添加location即可

使用curl命令删除文件：

但是上传文件时会出错，需要打补丁：
详情见这个 https://www.ruby-forum.com/topic/217606
（注：不保证patch无安全问题）

实际应用中，一般是在网页上，程序员编写大代码调用mogilefs的API，我们只需要点一个按钮就能选择本地文件，并在后面的输入框里填写上传后的文件名，点击确认就能完成上传。删除也是按钮化操作。

试验结束。

时间： 2024-10-10 13:36:35

分布式文件存储系统 mogilefs 的使用（2）的相关文章

分布式文件存储系统 mogilefs 的使用（1）

一.mogilefs简介       mogilefs是一种分布式存储(不可挂载,通过API调用或专门客户端)的解决方案,可存储海量图片.静态文件.       mogilefs的相关程序是用perl语言编写,元数据存储在关系型数据库中(国内有人用C语言将mogilefs重写的程序叫做FastDFS,后者的元数据是存储在内存中的) mogilefs的基本组成结构:     (1) tracker:追踪器,从database中追踪用户请求数据的元数据            与客户端通过http协议

HDFS—Hadoop底层分布式文件存储系统

声明:本文档所有内容均在本人的学习和理解上整理,仅供参考,欢迎讨论.不具有权威性,甚至不具有精确性,也会在以后的学习中对不合理之处进行修改. 在上一篇“浅谈Hadoop inFusionInsight—华为大数据解决方案的理解”中,我重点提到了大数据的两个相较于传统数据所不同的特点——数量大和种类多.在Hadoop的底层有个非常重要的部分,我们一般称之为“核心”——分布式文件存储系统,即HDFS.我之前说过,单个服务器的内存和磁盘空间是有上限的,不可能无限支持线性增加.面对海量的大数据,单个服务

Tahoe-LAFS 开源分布式文件存储系统

很多技术信息来自于英文页面,我英文不好,可能有错漏的地方. Tahoe-LAFS是一个分布式的文件存储系统.它的特点是无法对内容进行审查,即使是存储服务提供方:极高的安全性,用长不定字符串链接替文件访问权限验证,基本不可能被在线破解:匿名,无注册及身份验证,只靠第一次运行时分配的随机码区分不同用户. 简单说下它的文件存储流程.我通过客户端上传一个文件.文件经过加密被切分成数个片段,上传到数个存储服务器.每个服务器只保存文件的一部分,不保存完整的文件.并且忽略掉文件名,用一串加密过的字符代替.上传

分布式文件存储系统--fastDFS

分布式文件系统,它是一款开源的轻量级分布式系统 单机时代 初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源.如果按不同类型再细分,可以在项目目录下再建立不同的子目录来区分.例如: resources\static\file. resources\static\img等. 优点:这样做比较便利,项目直接引用就行,实现起来也简单,无需任何复杂技术,保存数据库记录和访问起来也很方便. 缺点:如果只是后台系统的使用一般也不会有什么问题,但是

GFS分布式文件存储系统（理论）

GlusterFS概述 GlusterFS简介 ?开源的分布式文件系统?由存储服务器,客户端以及NFS/Samba存储网关组成?无元数据服务器 RDMA:负责数据传输 GlusterFS的特点 ?扩展性和高性能?高可用性?全局统一的命名空间?弹性卷管理?基于标准协议 GlusterFS术语 ?Brick : 存储节点?Volume : 卷?FUSE : 内核模块,用户端的交互模块?VFS : 虚拟端口?Glusterd : 服务 模块化堆栈架构 ?模块化.堆栈式的架构?通过对模块的组合,实现负责

GFS分布式文件存储系统（实战！！！）

实验环境 #开启5台虚拟机(centos7),四条节点服务器分别添加四块硬盘 node1:192.168.52.149 node2:192.168.52.132 node3:192.168.52.128 node4:192.168.52.135 client:192.168.52.133 #分别设置虚拟机名称,方便识别 hostnamectl set-hostname node1 hostnamectl set-hostname node2 hostnamectl set-hostname no

分布式存储系统MogileFS（三）Nginx反向代理MogileFS

一.MogileFS简要说明 1.相关概念介绍 MogileFS是一个开源的分布式文件存储系统,MogileFS适用于存储海量小文件的工作场景,由LiveJournal旗下的Danga Interactive公司开发,该团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目. tracker节点:借助数据库保存各节点文件的元数据信息保存每个域中所有键的存储位置分布,方便检索定位数据位置的同时监控各节点,告诉客户端存储区位置并指挥storage节点复制数据副本,

分布式文件系统之&mdash;&mdash;mogilefs

本节我们将来认识下分布式文件系统,不过我主要讲的是关于其中的一个比较流行的mogilefs进行介绍,好了其他的不多说了,下面我们就开始吧. 什么是分布式文件系统? 什么是分布式文件系统(Distributed File System)?顾名思义,就是分布式+文件系统.它包含了2方面,从文件系统的客户端的角度来看,他就是一个标准的文件系统,提供了API,由此可以进行文件的创建.删除.读写等操作:从内部来看的话,分布式文件系统则与普通的文件系统不同,它不在是本地的磁盘中,它的内容和目录都不是存储在本

分布式文件系统之MogileFS实现

一.简介    1.分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储. 相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的访问权,在这样的系统中,访问权限就必须由客户端程序来控制. 分布式文件系统可能包含的功能有:透通的数据复制与容错.也就是说,即使系统中有一小部份的节点脱机,整体来说系统仍然可以持续