一、分布式存储系统概念与分类

第一章 概述 1.1 分布式存储的概念: 分布式存储系统是大量普通 PC 服务器通过 Internet 互联,对外作为一个整体提供存储服务. 分布式存储系统有如下特征:可扩展,低成本,高性能,易用. 分布式存储系统的挑战主要在于数据. 态信息的持  ,要求在自动迁移.自动容错.并发读写的过程中保证数据的一致性.分布式存储涉及的技术主要来自两个领 域:分布式系统以及数据库. 1.2分类 分布式存储面 的数据需求比较复杂,大致可以分为三类:非结构化数据,结构化数据,半结构化数据 (1)分布式文件系统

最近看完了杨传辉老师写的<大规模分布式存储系统>一书,发现里面很多知识点和之前看的<大型网站系统与Java中间件>有很多相通之处,也渐渐加 深了我对分布式技术的兴趣.但无奈分布式涵盖范围太广了,分布式存储.分布式计算.CAP理论.Paxos算法.什么GFS.Hadoop. Dynamo.BigTable.Spanner等等,不下点功夫还真不能理顺它们之间的内在关系.所以结合两书以及一些优秀博文,总结了分布式存储的知 识体系,为以后打下基础而努力.由于初入泥潭,必然有些理解不当的地方

始读于2014年5月31日兔家中,前三章完成于2014年6月10日22:21:41 后几张是讲一些具体产品的内容,对于每一个产品,都需要确实的使用和经验,以后需要的时候再研究不迟,技术永远在使用中进步更大. 以前对存储尤其是分布式存储的整体知识体系不是太清楚,只是片段式的知道一些理论,通过此书的学习,对分布式存储的原理将豁然开朗,不管是理论的还是后面几章讲述的具体产品,都能做到知其然知其所以然.另外,书中对Paxos协议也进行了深入介绍,理解此协议对时下流行的去中心化将有"夫子言之,于我心有戚戚

Ceph分布式存储系统 Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统,其设计目标是良好的可扩展性(PB级别以上).高性能及高可靠性.Ceph其命名和UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是"Sammy",一个香蕉色的蛞蝓,就是头足类中无壳的软体动物.这些有多触角的头足类动物,是对一个分布式文件系统高度并行的形象比喻. 其设计遵循了三个原则:数据与元数据的分离,动态的分布式的元数据管理,可靠统一的分布

Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备. 其架构例如以下: 以下,我们将从架构.模块等几个方面来介绍下: 一.架构图 如上图: 採用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展: 新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实现负载均衡: 节点故障时,数据可自己主动恢复: 直接支持QEMU/KVM应用: 二.模块 如上图: 由corosync,完毕集群成员管理和消息传递: 由Qemu作为Sheepdog的cli

摘要 结构型数据,用超大尺寸设计的,以PB级的数据量穿梭在成千上万的商业服务器上面.BigTable正是针对于管理这种结构型数据而设计的.Google的许多大型项目都用到了这种BigTable,包括Web indexing(网络索引),Google earth(谷歌地球),Google finance(谷歌财经),着眼于从网页链接到卫星图像这样的数据尺寸和从后台数据的批量处理到实时数据服务,这些应用都在BigTable上有着不同的需求.尽管谷歌的这些产品在需求上有着极大的不同,但是BigTabl

史鸣飞:大家好,我是叫史鸣飞,来自英特尔公司,接下来我向大家介绍一下Tachyon.我事先想了解一下大家有没有听说过Tachyon,或者是对Tachyon有没有一些了解?对Spark呢? 首先做一个介绍,我来自英特尔的大数据团队,我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应用,我所在的团队主要负责Spark及其软件栈的开发和推广.我们是国内最早参加Spark开发和推广的团队,我们在2012年就加入了Spark社区.在Spark和相关的项目中间投入了大量的人力,长期以来我

简介 HBase –Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群.HBase利用Hadoop HDFS作为文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具. HBase(NoSQL)的数据模型 HBase 存储的网站页面数据示例 1.表(table),是存储管理数据的. 2.行键(row key),类似于MySQL中的

以上有些是实践总结.有不对之处,有些则加了自己的理解.还请指出,多谢. 分布式存储系统的一些理解和实践 做cassandra开发和维护,经常是纠于代码细节,缺乏从分布式存储系统设计的角度去理解cassandra设计思想.最近研究和测试ceph也对比其与cassandra和hbase功能和特性差异,总结了下对分布式存储系统的一些理解,以及这三种系统在实现上的一些取舍.注:ceph实现了对象存储(类似amazons3块儿存储.分布式文件系统的统一存储.本文比拟只针对其块儿存储局部.分布式存储系统一般