分布式文件管理系统

数据量越来越多,在一个操作系统管辖的范围存在不了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来

管理多台机器上的文件,这就是分布式文件管理系统。

是一种允许文件通过网络在多台主机上分享的文件系统,可让多台机器上的多用户分享文件和存储空间。

通透性,它实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。

容错,即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失。

分布式文件管理系统很多,hdfs只是其中一种。见http://www.cnblogs.com/zlslch/p/5683055.html。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。

时间: 2024-11-05 21:50:10

分布式文件管理系统的相关文章

手把手教你用 FastDFS 构建分布式文件管理系统

说起分布式文件管理系统,大家可能很容易想到 HDFS.GFS 等系统,前者是 Hadoop 的一部分,后者则是 Google 提供的分布式文件管理系统.除了这些之外,国内淘宝和腾讯也有自己的分布式文件管理系统,都叫 TFS(Taobao File System 和 Tencent File System). 相对于上面提到的这些分布式文件管理系统而言,FastDFS 可能离我们 Java 工程师更近一些,因为文件上传这个功能太常见了,而想要搭建独立的分布式文件管理系统,FastDFS+Nginx

JAVA分布式文件管理系统-mydfsServer

各位博友,我叫巫其威,擅长java和c/c++语言,现在在无锡.担任过项目经理,java程序员,android开发工程师,java讲师.如果有技术问题我们可以一起讨论.我QQ:1058633117  QQ邮箱:[email protected]  电话:15295432682 这是我编写的文件上传管理系统,该文件上传系统.可以方便的在javaweb或其他应用中整合.已经在github开源.该项目是使用java语言编写的一款应用,我命名为mydfsServer,使用的java类库有socket.D

ICE分布式文件管理系统——初识ICE(其一)

中间件介绍 中间件(英语:Middleware)是提供系统软件和应用软件之间连接的软件,以便于软件各部件之间的沟通,特别是应用软件对于系统软件的集中的逻辑,在现代信息技术应用框架如Web服务.面向服务的体系结构等中应用比较广泛.同时也为当今的大型分布式应用搭起了一个标准的平台,把大型企业分散的系统和技术组合在一起,实现大型企业应用软件系统的集成. 简单说中间件就是通过屏蔽各种复杂的技术细节使技术问题简单化,具体来说,中间件屏蔽了底层操作系统的复杂性,使程序开发人员面对一个简单而统一的开发环境,

分布式文件管理系统_FastDFS集群

简单介绍 1,client storage tracker的关系 先用一幅图来解释用户如何访问一个通过DFS管理的文件 一般来说,一台服务器只有一个storage server,多个storage server可以组成一个group,同一group间storage server的数据自动同步(备份与恢复). 不同group数据互相隔离,一个tracker可以管理多个group,也可以多对多. client用于管理 tracker server 和storage server. FAST_DFS安

ICE分布式文件管理系统——ICE环境搭建(其二)

上一博文,我们讲述了ICE这个中间件的基本认识. 接下来我们讲述开发环境搭建. 其过程主要分为三步: 安装GCC-4.4.6.安装ICE-3.4.2.安装QT-4.7.3. (本文是基于LINUX下的ICE-3.4.2的安装,如果已安装了GCC(版本高于GCC-4.4.6亦可),请直接安装ICE) 一.安装GCC: (gcc各版本浏览地址:http://ftp.gnu.org/gnu/gcc/) 一般来说基于linux的操作系统都是默认安装了GCC的.假如说你的电脑没有的话 请百度一哈,可以解决

Linux磁盘分区和文件管理系统

1.磁盘分区 磁盘类型分为串口的IDE硬盘(hd[a-d])和并口的SCSI.SATA硬盘(sd[a-z]). 硬盘的分区分为主分区(p)和扩展分区两类(e),硬盘的主分区可以划分为4个分区,扩展分区需要继续二次分区后才能使用,即逻辑分区,且主分区和扩展分区之和不能超过4,逻辑分区是没有数量上的限制,逻辑分区一定是从sd[a-z]5开始. 分区命令:fdisk.parted.cfdisk.sfdisk    一般划分2T以下的硬盘用fdisk.2T以上的用parted. fdisk命令: 查看磁

11 磁盘存储和系统分区管理 (2)文件管理系统

文件系统 操作系统中负责管理和存储文件信息的软件结 构称为文件管理系统,简称文件系统.它负责为用户建立 文件,存入.读出.修改.转储文件,控制文件的存取,安全控制,日志,压 缩,加密等支持的文件系统:ls /lib/modules/uname -r/kernel/fs内存中加载的那些驱动模块:lsmod 文件系统类型ext2(Extended file system) :适用于那些分区容量不是太大,更新也不频繁的情况, 例如 /boot 分区.ext3:是 ext2 的改进版本,其支持日志功能,

Lunix磁盘及文件管理系统

Linux磁盘及文件系统管理 CPU,Memory(RAM),I/O I/O:Disks,Ethtercard Disk:持久存储数据 接口类型: IDE(ata):并口,133MB/s SCSI:并口,Ultrascsl320,320MB/s SATA:串口,6gbps SAS:串口,6gbps USB:串口,480MB/s 并口:同一线缆可以接多块设备: IDE:俩个,主,从 SCSI: 宽带:16-1 窄带:8-1 iops:io per second 串口:一个 硬盘:机械硬盘,固态硬盘

分布式文件存储fastdfs

FastDFS是一个开源的轻量级应用级的分布式文件存储服务,它对文件进行管理,功能包括: 文件存储.文件同步.文件访问(文件上传.文件下载)等解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS有三个角色:跟踪服务器(tracker server).存储服务器(storage server)和客户端(client). 1)跟踪服务器:主要做调度工作 起负载均衡的作用 2)存储服务器:存储节点存储文件 完成文件管理的所有功能:存储.同步和提