分布式存储mogilefs简介(1)

MogileFS



分布式存储

不能mount,基于API进行存储

分布式文件系统:(把存储空间抽象成文件格式的存储)

可以mount,基于VFS接口访问

常见的分布式文件系统

GFS:适合存储少量大文件

HDFS:适合存储少量大文件

TFS:淘宝FS,在名称节点上将元数据存储于关系型数据中,文件数量不在受限于名称节点的内存

空间,可以存储海量小文件

TFS:腾讯FS(为开源)

Lustre:Oracle,企业级应用,重量级

GlusterFS:

MooseFS:基于FUSE的格式,可以挂载

Mogilefs:存储海量小数据(文件的源数据存放在mysql数据库中)

FastDFS:C语言研发 Mogilefs的克隆版

Perlbal:高性能的反向代理服务器(类似nginx)

mogilefs特性

1.应用层提供服务,不需要使用核心组件(仍然借助本地的文件系统工作),文件一般不切割

2.无单点

MogStored:存储多个数据副本;

Tracker:多节点;

Database:MySQL, ...

3.自动文件复制:复制的最小单位不是文件,而是class  (保存多个文件副本)

4.传输中立:无特殊协议,可以通过NFS或HTTP实现通信

5.简单的命名空间:没有目录,直接存在存储空间上,通过域(名称空间)来实现

domain,class,fid(key)

6.不共享任何数据:

元数据:db

数据:mogilefs 副本

7.不需要RAID

mogilefs角色

Tracker:

MogStored:存储数据副本;WEBDAV.

DB:存储元数据.

tracker

MogileFS的核心,是一个调度器,服务进程为mogilefsd

监听端口为7001

Database

数据库

mogstored

数据存储的位置,通常是一个HTTP(webDAV)服务器,

用来做数据的创建(put)、删除(delete)、获取(get),监听端口7500

mogilefs管理的几个概念

domain:一个mogilefs可以有多个domain

用来存放不同的文件

同一个domain内,key必须唯一

不同domain内,key可以相同

class:文件属性管理,定义文件存储在不同设备上的份数,最小复制单元

domain + fid 定位文件

             

              mogilefs工作流程图

时间: 2024-12-27 13:05:32

分布式存储mogilefs简介(1)的相关文章

分布式存储——mogilefs & fastdfs

一.   mogilefs mogilefs特性: 1.支持多节点冗余 2.可实现自动的文件复制 3.使用名称空间(命名空间),每个文件通过key来确定 4.不需要RAID,应用层可以直接实现RAID,不共享任何东西,通过"集群"接口提供服务 5.工作于应用层,没有特殊的组件要求: 6.不共享任何数据,MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护 好自己的磁盘. mogilefs的架构: mogileFS主要由三部分构成:tracker节点,database节点,

分布式文件系统MogileFS的使用

MogileFS简介 MogileFS是一套开源的分布式存储组件,由LiveJournal旗下的Danga Interactive研发,主要应用于存储海量的小文件. MogileFS有3个组件: 1)Tracker Nodes:是文件系统集群的核心节点,借助数据库节点保存元数据,主要功能包括监控后端Storage节点,及指示Storage节点完成数据的添加.删除.查询,及节点之间数据的复制等,该节点上运行的进程为mogilefsd.往往Tracker节点有多个,以实现负载均衡和高可用: 2)St

分布式文件存储系统 mogilefs 的使用(1)

一.mogilefs简介       mogilefs是一种分布式存储(不可挂载,通过API调用或专门客户端)的解决方案,可存储海量图片.静态文件.       mogilefs的相关程序是用perl语言编写,元数据存储在关系型数据库中(国内有人用C语言将mogilefs重写的程序叫做FastDFS,后者的元数据是存储在内存中的) mogilefs的基本组成结构:     (1) tracker:追踪器,从database中追踪用户请求数据的元数据            与客户端通过http协议

分布式系统二、MogileFS

一.MogileFS简介 1.MogileFS结构 tracker:追踪器,追踪元数据,          http协议 mogilefsd(守护进程),它的主要职责包括: replication:节点间文件的复制 deletion:删除文件 queryworker:响应客户请求的文件元数据访问请求 reaper:在存储失败后将文件复制请求重新放置于队列中 monitor:监测主机和设备的健康状态 database:存储元数据 一般使用mysql,建议使用冗余方案以保证七可用性 mogilefs

Nginx实现MogileFS的反向代理

MogileFS简介: MogileFS是一个开源的分布式文件存储系统,MogileFS适用于存储海量小文件的工作场景,由LiveJournal旗下的Danga Interactive公司开发,该团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目. MogileFS的组成: 1.server:主要包括mogilefsd和mogstored两个应用程序.mogilefsd实现的是tracker,它通过数据库(通常是MySQL)来保存元数据信息,包括站点dom

分布式文件系统之MogileFS的使用

一.mogilefs简介 MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括 Memcached.MogileFS.Perlbal 等不错的开源项目:(注:Perlbal 是一个强大的 Perl 写的反向代理服务器). MogileFS由3个部分组成: 第1个部分: 是server端,包括mogilefsd和mogstored两个程序.前者即是mogilefsd的trac

linux课程以及Linux主要学习哪些内容

7年线下Linux课程研发教学经验,课程设计个个知识循环相扣,让学员在实战学习解决问题过程中,来掌握Linux运维这门技能,整个学习过程,实战项目贯穿整个Linux运维所需的知识点,主要阶段包括如下: 第一阶段:Linux基础Linux入门.常用的基础命令.FHS .bash常用功能.I/O重定向及管道 .用户和组.权限管理.bash环境.sudo.grep及基本正则表达式.vim编辑器.文件查找(学完此阶段可:) 第二阶段:Linux系统管理磁盘及分区.Linux文件系统.逻辑卷.RAID .

私塾在线JAVA高级软件架构师实战培训阶段一

第01节课:整体课程内容概览 -----------------------以下为Maven补充和Git部分------------------------------------------------------------------ 第02节课:Maven补充:分模块.分工程管理第03节课:Maven补充:多模块,多Web应用,合并成一个War包第04节课:Git快速上手:Git简介.基本原理.安装.Git服务器配置.插件Egit第05节课:Git快速上手:TortoiseGit的本地使

java高级软件架构师实战视频教程 Spring+Mybatis+SpringMVC+Ehcache+Memcached+Redis+Nginx+Varnish+ActiveMQ+Keepalived+MySQL+MongoDB

java高级软件架构师实战阶段1视频教程 迅雷下载  百度云 第001节:整体课程概览第002节:分模块.分工程管理第003节:多模块多Web应用合并War包第004节:Git基本原理和安装配置使用第005节:TortoiseGit的本地使用第006节:Egit的本地使用第007节:远程使用以及冲突解决第008节:基本业务功能和数据字典第009节:搭建基础的开发环境第010节:Spring+Mybatis实现DAO第011节:Mybatis的分页实现第012节:Service的实现以及模块化第0