分布式系统二、MogileFS

一、MogileFS简介

1、MogileFS结构

tracker:追踪器,追踪元数据,          http协议

mogilefsd(守护进程),它的主要职责包括:

replication:节点间文件的复制

deletion:删除文件

queryworker:响应客户请求的文件元数据访问请求

reaper:在存储失败后将文件复制请求重新放置于队列中

monitor:监测主机和设备的健康状态

database:存储元数据

一般使用mysql,建议使用冗余方案以保证七可用性

mogilefs专门提供了数据管理工具mogdbsetup;

storage:存储数据,           http协议,nfs协议

            mogstored(进程名),一个准备好的mogstored节点可通过mogadm命令添加至现在的集群中,存储节点需要定义“设备”用作存储空间,每个设备在当前集群中都需要通过唯一的DevID来标识

client:客户端用于与mogilefs建立通信,完成数据存取

2、Mogilefs特性

1)工作于应用层:http,nfs

2)无单点故障

3)自动完成文件复制

4)传输无需特殊协议

5)名称空间(完成复制)

6)不共享任何数据

3、常用术语

Domain:name space 命名空间  一个mogilefs可以有多个Domain,用来存放不同文件,同一个Domain内key必须唯一

不同mogilefs内,key可以相同

class:最小复制单元

定位文件:Domain+fid

4、安装Mogilefs

时间: 2024-12-24 22:17:08

分布式系统二、MogileFS的相关文章

802.11帧格式

本文转载至:http://blog.csdn.net/chengwenyao18/article/details/7176090 一.802.11数据帧 1.802.11数据帧的一般格式说明: 2.数据帧各个字段说明: 名称 描述 长度(字节) 帧控制(Frame Control) 2 持续时间(Duration ID) 用来记载网络分配矢量(Network Allocation Vector,简称NAV) 2 目的地址 最后的接收端,即负责将帧交付上层协议处理的工作站 6 源地址 传送的来源

学习MFS(一)

MFS概述 MooseFS,是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理server或单独disk或partition上,确保一份数据有多个备份副本,对于访问MFS的client或user来说,整个分布式网络文件系统集群看起来就像一个资源一样,从MFS对文件操作的情况看,相当于一个类unix的FS(ext{3,4}.nfs): a.mfs是一个分层的目录树结构 b.存储支持POSIX标准的文件属性(权限,最后访问和修改时间) c.支持特殊的文件.如:块设备,字符设备,管

二:分布式系统事务

一:事务--->是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元.保证数据在业务逻辑上是正确的.--->事务的四大特征:原子性,一致性,隔离性,持久性.简称事务的ACID特性.●原子性        要么全部成功执行,要么全部失败.●一致性        事务的一致性,数据合乎逻辑.只能从一个一致性状态变到另一个一致性状态.不允许出现中间状态的数据.●隔离性        事务的隔离性是指在并发环境中.并发的事务是相互隔离的.一个事务的执行不能被其他事务干扰.即一个事务内

分布式系统阅读笔记(十二)-----分布式文件系统

一.介绍 一个分布式系统本质上就是一段程序能够存储和访问远程文件就像访问本地文件类似,能够允许任何连上网络上的用户都可以访问.在后面的记录中,主要是对2大文件系统NFS和AFS做详细的介绍和分析. 1.文件系统在最初的设计时往往是按照中心结点服务的方式构建,在中心节点服务器中保持着大量的文件资源. 2.对于文件系统的分块有下面的分法:1.目录模块.2.文件模块.3.访问控制模块.4.文件访问模块.5.Block文件块模块.6.设备模块,主要指的是磁盘IO,和缓存. 3.文件系统的作用主要有:组织

分布式系统之缓存的微观应用经验谈(二) 【主从和主备高可用篇】

分布式系统之缓存的微观应用经验谈(二) [主从和主备高可用篇] 前言 近几个月一直在忙些琐事,几乎年后都没怎么闲过.忙忙碌碌中就进入了2018年的秋天了,不得不感叹时间总是如白驹过隙,也不知道收获了什么和失去了什么.最近稍微休息,买了两本与技术无关的书,其一是 Yann Martel 写的<The High Mountains of Portugal>(葡萄牙的高山),发现阅读此书是需要一些耐心的,对人生暗喻很深,也有足够的留白,有兴趣的朋友可以细品下.好了,下面回归正题,尝试写写工作中缓存技

区块链快速入门(二)——分布式系统核心技术

区块链快速入门(二)--分布式系统核心技术 一.分布式系统的一致性问题 1.分布式系统的一致性问题 随着摩尔定律碰到瓶颈,越来越多情况下要依靠可扩展的分布式架构来实现海量处理能力.单点结构演变到分布式结构,首要解决的问题就是数据的一致性.如果分布式集群中多个节点不能保证处理结果的一致性,建立在其上的业务系统将无法正常工作.区块链系统是一个典型的分布式系统,在设计上必然也要考虑一致性问题.在面向大规模复杂任务场景时,单点的服务往往难以解决可扩展(Scalability)和容错(Fault-tole

MogileFS高级应用(二)

一.准备阶段 1.5台机器 10.1.2.180 作为mysql机器 10.1.2.200-202作为集群节点 10.1.2.203作为nginx反向代理 2.拓扑图 三.部署步聚 1.180机器 1.1由于前面单节,180机器安装了mysql和Mogilefs,而现在180作为单独Mysql机器,所以先停掉Mogilefs服务  [[email protected] tmp]# /etc/init.d/mogilefsd stop Stopping mogilefsd             

Net分布式系统之二:CentOS系统搭建Nginx负载均衡

一.关于CentOS系统介绍 CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成.基于Red Hat持续升级,和对已知BUG修复,所以CentOS更多用于搭建大型企业级服务器.目前较新版本为7.0,本文使用CentOS7 64bit进行搭建系统负载均衡. 二.安装VMWare VMWare (Virtual

[分布式系统学习]阅读笔记 Distributed systems for fun and profit 抽象 之二

本文是阅读 http://book.mixu.net/distsys/abstractions.html 的笔记. 第二章的题目是"Up and down the level of abstraction".这一章里面,作者主要介绍了分布式系统里面的一个重要概念:CAP理论. 什么是CAP理论呢?就是说在任何情况下,分布式系统只能满足下面三项中的两个: 一致性(Consistency),这里指的强一致性. 可用性(Availability). 对网络分割容错(Partition tol