分布式文件系统的存储节点和追踪器

1、存储节点

在分布式文件系统中,所有的文件都存储在存储节点(Storage Node)中。一个存储节点一般对应屋里磁盘的一个实际目录。我们用多台服务器创建多个存储节点,文件就会在这些存储节点之间根据规则进行自动复制。另外,我们也可以在同一台物理机上创建多个存储节点,指向不同的磁盘空间,实现了一定程度的冗余备份,和RAID机制有点类似。

2、追踪器

追踪器负责客户端和存储节点之间的桥梁作用。对于复杂的分布式文件系统来说,复杂的存储节点内部运行对客户端是透明的,客户端要通过追踪器来完成对分布式文件系统的使用;

3、追踪器和存储节点的简单示例图

追踪器(Tracker)提供给客户端使用,由追踪器找到合适的存储节点提供给客户端,客户端将直接与存储节点服务器进行文件读写,这种设计能够降低追踪器的瓶颈制约。和我们的LVS
DR模式的负载均衡有点类似。:)

4、追踪器和存储节点的内部交互工作

追踪器要做的工作比如多,例如:

维护存储节点的信息,知道哪些文件存储在哪些节点上;

控制文件复制和分发策略;

实现存储节点的负载均衡和调度;

存储节点的可用性检测;

实现存储节点的故障转移;

时间: 2024-10-08 18:53:45

分布式文件系统的存储节点和追踪器的相关文章

二十九.块存储应用案例 分布式文件系统 对象存储

client:192.168.4.10 node1 :192.168.4.11 ndoe2 :192.168.4.12 node3 :192.168.4.13 1.块存储 应用案例(真机访问) rbd池子\镜像共享盘 块存储 Filesystem---KRBD---Kernel---ceph 要求: Ceph创建块存储镜像 客户端安装部署ceph软件 客户端部署虚拟机 客户端创建secret 设置虚拟机配置文件,调用ceph存储 ************* ]# rpm -e --nodeps

为什么我们要用分布式文件系统(经历后的感触)

1.为什么分布式文件系统要采用特定的组织结构来存储文件? 直接按照文件的原始路径进行存储和复制,这样就可以直接通过应用服务进行静态化访问,从而大幅度提升性能.怎么样,这个主意不错吧? 等等,我们好像又绕回去了-.. 这样的一个系统,大概是一个共享文件系统?或者是一个文件分发系统. 如果只是共享文件系统,文件太多了怎么办?文件访问压力太大了怎么办?文件丢失了怎么办?文件错了怎么办?文件服务器挂了怎么办? 怎么办,怎么办,怎么办? 没有那么多怎么办,所以我们在经历过这些实践和使用之后,结论就是,用分

架构设计:系统存储(27)——分布式文件系统Ceph(安装)

1. 概述 从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装.基本使用场景.常用管理命令和重要工作原理.特别是讨论了PaxOS算法的基本理后,就更容易理解Ceph分布式文件系统中各种角色的工作原理. 2. Ceph的安装部署 本文将介绍Ceph分布式文件系统如何在CentOS 7.X版本上一步一步完成安装,使读者在阅读过程中了解Ceph有哪些重要的子系统/工作模块,以及它们是如何关联工作的.请注意Ceph在Ubuntu等Linux操作系统上的安装过程和注意点大致相

分布式文件系统MogileFS

MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括 Memcached.MogileFS.Perlbal 等不错的开源项目:(注:Perlbal 是一个强大的 Perl 写的反向代理服务器).目前国内使用 MogileFS 的有图片托管网站 yupoo 等. MogileFS 特性 1. 应用层 – 不需要特殊的核心组件 2. 无单点失败 - MogileFS分布式文件存

MogileFS 的介绍(MogileFS 系列1)[分布式文件系统]

MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括 Memcached.MogileFS.Perlbal 等不错的开源项目:(注:Perlbal 是一个强大的 Perl 写的反向代理服务器). 目前使用 MogileFS 的公司非常多,比如国外的一些公司,日本前几名的公司基本都在使用这个. 国内所知道的使用 MogileFS 的公司有图片托管网站 yupoo又拍, dig

分布式文件系统之MogileFS实现

一.简介    1.分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储. 相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的访问权,在这样的系统中,访问权限就必须由客户端程序来控制. 分布式文件系统可能包含的功能有:透通的数据复制与容错.也就是说,即使系统中有一小部份的节点脱机,整体来说系统仍然可以持续

FastDFS 分布式文件系统 搭建部署

搭建部署FastDFS 分布式文件系统 什么是分布式文件系统 分布式文件系统 ( Distributed File System ) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连 分布是文件系统的设计基于客户机/服务器模式 一个典型的网络可能包括多个供多用户访问的服务器 对等特性允许一些系统扮演客户机和服务的双重角色 衡量分布式文件系统的优劣 数据的存储方式 数据的读取速率 数据安全机制 FastDFS介绍 FastDFS是一款开源分布式文件系统,它用纯

共享存储之分布式文件系统应用及MogileFS基础应用

 **什么是分布式存储:    分布式存储系统,是将数据分散存储在多台独立的设备上.传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要.分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性.可用性和存取效率,还易于扩展. 分布式文件系统设计目标: ** 访问透明** 位置透明** 并发透明** 失效透明** 硬件透明** 可扩展性** 复制

基于mogileFS搭建分布式文件系统 适用于海量小文件的存储

一.分布式文件系统 1.简介 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.分布式文件系统的设计基于客户机/服务器模式.一个典型的网络可能包括多个供多用户访问的服务器.另外,对等特性允许一些系统扮演客户机和服务器的双重角色.例如,用户可以"发表"一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样. 当下我们处在一个互联网飞速发展的信息社会,在海量并