Linux之使用MogileFS分布式文件系统并使用nginx实现反向代理

MogileFS是一套高效的文件自动备份组件,由Six Apart开发,广泛应用在包括LiveJournal等web2.0站点上。 
MogileFS的特性: 
工作在应用层,无单点,自动文件复制(复制的最小单位是class,而不是文件),传输中立且使用nfs或者http协议进行传输。 
MogileFS的结构组成: 

tracker:是mogilefs的核心,是一个调度器,通过数据库来保存元信息,包括daemon,class,host等信息,主要职责:监控后端mogstore节点,并指示store节点完成数据的添加,删除,查询,及节点之间的复制. 
mogstore:实际数据的存储位置,通常伪一个http服务器. 
database:用来保存节点的全局信息.

1.安装MogileFS 
a.下载MogileFS 
MogileFS-Server:https://github.com/mogilefs/MogileFS-Server 
MogileFS-Utils:https://github.com/mogilefs/MogileFS-Utils 
perl-MogileFS-Client:https://github.com/mogilefs/perl-MogileFS-Client 
b.安装: 
将文件解压并进入文件内

    [[email protected] nginx-1.11.12]# make Makefile.PL    [[email protected] nginx-1.11.12]# make && make install    [[email protected] nginx-1.11.12]# yum install perl-IO-AIO123123

2.配置文件讲解

    

参数解答:
  

总用量 8

3.启动并测试

1.创建/var/run/mogilefsd目录并修改属组属主    [[email protected] mogilefs]# mkdir -p  /var/run/mogilefsd            [[email protected] mogilefs]# chown -R mogilefs.mogilefs /var/run/mogilefsd/2.创建/mog/mogdata目录并修改属组属主    [[email protected] mogilefs]# mkdir -p /mog/mogdata    [[email protected] mogilefs]# chown -R mogilefs.mogilefs /mog/mogdata/3.启动mogilefsd进程和mogstored进程    [[email protected] mogilefs]# service mogilefsd start        Starting mogilefsd                                             [[email protected] mogilefs]# service mogstored start        Starting mogstored                                         **此处的启动脚本是使用rpm包安装,并且自带的,一般使用make安装的没有服务脚本**

4.使用管理工具配置mogstord节点主机

   

   

    

   

         **文件实际访问位置**

5.使用浏览器访问 

这样一个mogilefs分布式存储就设置好了,只是mogilefsd进程和mogstored进程在统一主机上。 
6.负载均衡设计结构 

7.使用nginx实,现反向代理 
使用nginx反向代理mogilefs时,要用到第三方模块在能使实现代理,nginx身不支持mogilefs的代理,下载模块快为nginx_mogilefs_module,下载地址:http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.4.tar.gz

    
    **详细参数请参考官方文档:http://www.grid.net.ru/nginx/mogilefs.en.html**

8.配置两台mogilefs主机 
在配置两台主机是,mogilefsd进程会在数据库中读取mogstord节点的信息,在配置时按照上述阐述仅可以配置,建议在一个mogilefsd节点上配置,另一个节点可以在数据库中读到。 
9.测试结果 

时间: 2024-12-17 08:19:52

Linux之使用MogileFS分布式文件系统并使用nginx实现反向代理的相关文章

Nginx+MogileFS分布式文件系统部署实验

实验要求 1.  部署mogilefs分布式文件系统 2.  nginx代理 实验环境 1.拓扑 2.网络地址规划 node1:172.16.76.10 nginx (centos6.8) node2:172.16.76.20 Trackers .storage Node   (centos7.2) node3:172.16.76.30 storage Node                   (centos7.2) node4:172.16.76.40 storage Node  (Mar

分布式存储之MogileFS分布式文件系统简单应用

一.分布式存储原理: 分布式存储系统,是将数据分散存储在多台独立的设备上.传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要.分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性.可用性和存取效率,还易于扩展. 1.分布式文件系统的特点: • 节点间能相互通信 • 同一数据存储在多个节点上 • 数据空间平衡 • 具有容错能力 • 文件系统的

mogilefs分布式文件系统搭建详解

MogileFS是一套开源的分布式存储软件,适用于存储海量小文件.由tracker,mogstore,database三个部分组成. Tracker:它通过数据库来保存元数据信息,包括站点domain.class.host等:主要功能包括监控后端Storage节点,及指示Storage节点完成数据的添加.删除.查询,及节点之间数据的复制等. mogstored 实际存储数据的位置,默认监听在7500端口,接受客户端的文件存储请求. database:用来做数据key  value 映射,可用my

【NodeJs】Linux安装NodeJs并配合Nginx实现反向代理

Linux安装NodeJs并配合Nginx实现反向代理 NodeJs 是什么 Node.js是一个Javascript运行环境(runtime).实际上它是对Google V8引擎进行了封装.V8引 擎执行Javascript的速度非常快,性能非常好. Node.js对一些特殊用例进行了优化,提供了替代的API,使得V8在非浏览器环境下运行得更好. 本地安装(OS X) 版本选择 V4.4.4,长期支持版本,成熟可靠 V6.2.0 稳定版本,最新特性 这里我还是倾向于使用最新的版本~ 下载安装包

Mogilefs分布式文件系统-Keepalived+Nginx双主模型实现图片分布式存储、访问

一.分布式文件系统: 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.计算机通过文件系统管理.存储数据,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,在容量大小.容量增长速度.数据备份.数据安全等方面的表现都差强人意. 分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络.每个节点可以分布在

MogileFS分布式文件系统

内容概述 1.分布式文件系统介绍 2.CAP理论 3.常见分布式文件系统介绍 4.MogileFS详细介绍 4.1MogileFS组成 4.2MogileFS特性 5.MogileFS实现 5.1 node1配置Mariadb(过程略) 5.2 node1配置tracker 5.3 node2配置storage 5.4  node3配置storage 5.5 配置分布式集群 5.5.1 添加主机 5.5.2 添加设备 5.5.3 定义domain和class 5.6  验证分布式集群 6.Mog

linux 安装 nginx 及反向代理配置

Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,以下为Linux centos平台下安装nginx并配置反向代理的过程(采用源码安装的方式) 一:安装编译环境gcc g++ 和make(用于编译源代码成可执行文件) 1yum install gcc gcc-c++ 2 yum -y install gcc automake autoconf libtool make 二:安装pcre (nginx rewrite依赖pcre库)zlib(用于gzip压缩)

LInux中Nginx+nodejs 反向代理

一台服务器架设多个 nodejs 网站的拓扑结构 Nginx 的安装 1.安装 nginx 源 sudo rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 2.查看 Nginx 源是否配置成功 通过 yum search nginx 看看是否已经添加源成功.如果成功则执行下列命令安装 Nginx. 或者 npm info nginx 也可以看看 n

夺命雷公狗---linux NO:39 linux下nginx的反向代理

反向代理图如下所示: 由上图可见,我们的服务器其实是分了两台,一台专门存放  php   之类的源码程序的,另外一台是专门存放图片用的服务器,由于图片在服务器A不存在,所以可能导致如下显示: 看不到这是很正常的,因为服务器A下没有这图片,图片在服务器B下: 所以我们要更改一下服务器A的配置文件: 然后我们开始为服务器添加一段反向代理的代码: location ~ \.(jpg|jpeg|png|gif)$ { proxy_pass http://192.168.8.166:80; } 然后保存退