Google File System设计方面的问题汇总

1、Google File System概述

google file system是一个分布式文件系统,针对的是数据密集型应用,提供容错功能,运行在低廉的服务器上,同时给大量的用户提供高性能服务。尽管google file system有着传统的分布式文件系统的目标,但是GFS的开发兼顾观察现在Internet应用下的技术需求和场景,为了扩展也考虑将来的场景,这是Google File System与传统的分布式文件系统不同的地方。

2、GFS设计时的目标及考虑因素

  • 传统的分布式文件系统的目标:扩展性(scalability),可靠性(reliability),有效性(availability)

  考虑现实条件及场景:

  • 构成GFS的组件故障是正常的,而不是意外:GFS设计目标是由成百上千的存储服务器,甚至更多,这些存储服务器是低廉的,同时会被大量的客户访问。这些存储服务器的数量和质量就确定了GFS组件的故障时正常的
  • 按照传统的观点,文件是巨大的:几个GB大小的文件是很正常的。
  • 文件数据的更改不是覆盖原有的数据,而是在文件的后面添加新的数据
  • 在设计的时候兼顾考虑应用和文件系统,这样方便以后扩展

3、GFS设计时假定的前提条件

  • 系统建立在低廉的服务器上,会发生故障
  • 存储中等程度数量的大文件
  • 负载有两种读:大型的streaming reads和小型的random reads
  • 负载有大量的顺序添加写操作
  • 总体的带宽比时延更重要

4、设计接口(Interface)

采用的不是传统的POSIX接口,支持操作为create、delete、open、close etc

5、

时间: 2024-08-28 15:53:04

Google File System设计方面的问题汇总的相关文章

The Google File System

摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的.可伸缩的分布式文件系统.GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务. 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础 的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同.所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计 思路.

谷歌三大核心技术(一)Google File System中文版

The Google File System中文版 译者:alex 摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的.可伸缩的分布式文件系统.GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务. 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础 的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同.所以我们重新审

Google File System读书笔记

GFS是google分布式存储的基石,其他存储系统,比如Google的bigtable.megastore.percolator均直接或者间接的构建在GFS上. 系统架构 GFS Master维护了系统的元数据,包括文件及chunk命名空间.文件到chunk的映射关系.chunk的位置信息:复制整个系统的全局控制,master定期会与CS通过心跳的方式交换信息 GFS ChunkServer(CS,数据块服务器)64MB的chunk块,由master在创建时分配一个64位全局唯一的chunk句柄

Google File System 论文阅读笔记

核心目标:Google File System是一个面向密集应用的,可伸缩的大规模分布式文件系统.GFS运行在廉价的设备上,提供给了灾难冗余的能力,为大量客户机提供了高性能的服务. 1.一系列前提 GFS的系统构建针对其自身使用的特点在传统的分布式系统的基础上又进行了一些创新,基于的前提假设主要包括以下方面: 1.由于系统由廉价的商用机构成,组件失效被认为是一种常态,系统必须可以持续监控自身的状态. 2.系统存储以大文件为主,小文件也支持,但是没有进行特别的优化处理. 3.系统的工作负载主要包含

Colossus: Successor to the Google File System (GFS)

Colossus is the successor to the Google File System (GFS) as mentioned in the recent paper on Spanner on OSDI 2012. Colossus is also used by spanner to store its tablets. The information about Colossus is slim compared with GFS which is published in 

《Google File System》阅读总结

goals and assumptions Google file system shares the same goals as previous distributed file systems: 1. scalability 2. performance 3. reliability 4. availability However, it has special assumptions about application workloads and technological enviro

GFS Google File System(中文翻译)

Google文件系统 GFS是一个可扩展的分布式文件系统,用于大型的.分布式的.对大量数据进行访问的应用.它运行于廉价的普通硬件上,但可以提供容错功能.它可以给大量的用户提供总体性能较高的服务. 1.设计概览 (1)设计想定 GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同的设想.这就需要对传统的选择进行重新检验并进行完全不同的设计观点的探索. GFS与以往的文件系统的不同的观点如下: 1.部件错误

HDFS(Hadoop Distributed File System )

HDFS(Hadoop Distributed File System ) HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.是根据google发表的论文翻版的.论文为GFS(Google File System)Google 文件系统(中文,英文). 1. 架构分析 基础名词解释: Block: 在HDFS中,每个文件都是采用的分块的方式存储,每个block放在不同的datanode上,每个block的标识是一个三元组(block id, n

HTML5之本地文件系统API - File System API

HTML5之本地文件系统API - File System API 2014-06-03 17:54 19991人阅读 评论(0) 收藏 举报 目录(?)[+] 新的HTML5标准给我们带来了大量的新特性和惊喜,例如,画图的画布Canvas,多媒体的audio和video等等.除了上面我们提到的,还有比较新的特性 - File System API,它能够帮助我们来突破沙箱访问我们本地的文件系统,从而有效的弥补桌面和web应用之间的鸿沟.在今天这篇文章中,我们将会介绍基本的File system