三分钟了解华为云存储分布式技术

一、存储方式比较

传统网络存储系统采用集中式存储服务器存放数据,存储服务器很容易成为系统性能瓶颈。不能满足大规模存储应用的需求。

分布式存储系统将数据分散存储在多台独立的设备上,采用可扩展的系统结构。利用多台存储服务器分担存储负荷。满足大规模存储需求的同时提供更高的读取速度。

二、分布式系统存储的原理

分布式系统的核心理念是让多台服务器协同工作,完成单台服务器无法处理的任务。尤其是高并发或者大数据量的任务。

三、分布式系统部署

分布式系统部署时,系统会首先将物理硬盘上的空间切分成小块。再将不同硬盘上的这些小块组合起来成为不同的分区。系统中相同冗余配比分区的集合组成了一个DHT环。

四、分布式系统的应用

写入数据时,分布式系统会将一个数据切分成固定大小的数据分片,如果是副本方式存储,系统会为每个分片生成多个副本。并将分片写入DHT环的一个分区。如果是数据分布式存储,系统将分片切分为条带,并根据冗余配比生成校验数据。然后将条带和校验数据一起写入DHT环的一个分区。

数据读取时,被访问的存储节点寻址到相应的分区读取数据,并聚合这些数据为完整的文件。返回给应用服务器。

五、分布式系统的扩展性

分布式系统强调横向可扩展性,即Scale-out。通过增加服务器数量来提升集群整体性能。系统扩展了新硬件,新增节点上的硬盘增加到现有分区。原有服务器上的数据迁移到新扩容节点上,实现数据自动均衡。同时,系统增加了并发访问的节点,容量和性能线性扩展。

六、分布式系统的异常处理

由于每个硬盘同时归属于多个分区,当硬盘或者节点损坏时,受损的数据会选择不同的节点和硬盘作为重构目标并发地执行重构。系统会自动重构已写入的数据。

华为存储将分布式架构应用于OceanStor 9000和FusionStorage两款产品。OceanStor 9000在分布式架构基础上实现了文件和对象在一套系统内同时存储。数据采用数据分布方式存储,元数据采用副本方式存储。FusionStorage在支持文件个对象同时存储的基础上进一步融合了分布式块。实现了文件、对象、块的融合存储。文件和对象数据采用数据分布式存储,元数据和块数据采用副本方式存储,

时间: 2024-10-07 23:54:11

三分钟了解华为云存储分布式技术的相关文章

一片非常有趣的文章 三分钟读懂TT猫分布式、微服务和集群之路

原文http://www.cnblogs.com/smallSevens/p/7501932.html#3782600 三分钟读懂TT猫分布式.微服务和集群之路 针对新手入门的普及,有过大型网站技术架构牛人路过,别耽误浪费了时间,阅读之前,请确保有一定的网络基础,熟练使用Linux,浏览大概需要3-5分钟的时间,结尾有彩蛋. 目录 分布式 微服务 负载均衡集群 高可用集群 弹性云 故障转移 总结 分布式 小马正在经营一个在线购物网站,名叫TT猫,有商品管理.订单管理.用户管理.支付管理.购物车等

三分钟读懂TT猫分布式、微服务和集群之路

三分钟读懂TT猫分布式.微服务和集群之路 针对新手入门的普及,有过大型网站技术架构牛人路过,别耽误浪费了时间,阅读之前,请确保有一定的网络基础,熟练使用Linux,浏览大概需要3-5分钟的时间,结尾有彩蛋. 目录 分布式 微服务 负载均衡集群 高可用集群 弹性云 故障转移 总结 分布式 小马正在经营一个在线购物网站,名叫TT猫,有商品管理.订单管理.用户管理.支付管理.购物车等等模块,每个模块部署到独立的云服务主机. 现在,程序员小明同学浏览TT猫,想买一款牛逼的cherry机械键盘来提升自己的

华为云,有技术,有未来

华为云软件开发云可以让开发团队基于云服务的模式按需使用,随时随地在云端进行项目管理.代码托管.代码检查.编译构建.测试.部署.发布等,从而使软件开发更加简单高效,让开发者能够专注快速创新和应对永无止境的需求变化,大幅提升个人和团队的交付能力和效率,帮助软件企业提高竞争力. 具体来说,对于软件企业来说,华为云软件开发云给他们带来的优势可分为如下几个层面: 第一,提升开发效率.首先,通过代码检查.代码广场来提高员工技能和熟练程度:其次,为企业提供包含项目管理.代码托管.代码检查等十余大服务在内的技术

华为云,有技术,有未来的华为云服务器

华为云现在是网络发展的一个趋势,人工智能智能的方案已经和绝大部分的大型企业还有政府合作使用,最大的优势就是用起来安全,稳定,降低人力成本. 原文地址:http://blog.51cto.com/13798554/2130664

【微服务直播】60分钟掌握华为云的微服务治理之道

1小时能干啥?攒一局游戏?煲一集剧?不,1小时还可以让你从0到N,掌握微服务治理之道,华为云资深大神现场分享,教你管理服务实例.如何升级不断服--戳链接立即观看直播>>直播地址 原文地址:https://blog.51cto.com/14281216/2393648

云存储技术优势及其发展趋势的探讨

云存储技术优势及其发展趋势的探讨 1.引言 近年来,由于信息技术的发展,科学计算和商业计算等众多应用领域会产生了规模相当巨大的数据,并且数据量仍在快速增加,呈海量形式发展.在科学计算方面,如物理学.天文学.生物学等领域都会产生规模庞大的数据,而且每年的数据规模达到若干PB.而在商业计算方面,Web搜索.社会网络等需要处理的数据规模也非常庞大,例如,Google和Facebook等应用产生的数据达到PB甚至EB级.按照摩尔定律,处理器的速度每18个月就会翻一番,光纤技术的发展也大大加快了数据在网络

华为云普惠AI让12人初创公司弄潮“+智能”

"我们一起成长才有价值".在2019年3月5日的华为云惠普AI开放日上,华为公司副总裁.华为云BU总裁郑叶来如是说.陕西融普信息科技有限公司(以下简称:陕西融普)就是在华为云这片黑土地上成长起来的企业之一. 人工智能是黑土地的核心技术."能不能让消费者一天多光顾店面两到三次?能实现的就是好AI!"这是陕西融普CTO雷顺奇在2019年3月5日华为云惠普AI开放日上接受采访时所表达的观点.雷顺奇是华为云MVP之一,MVP(Most Valuable Profession

华为云首批通过可信区块链评测

华为云首批通过可信区块链评测来源:互联网近年来,区块链技术正在被各行各业所认可,具有"降成本.提效率.优化产业诚信环境"的作用.基于区块链系统,数据可以被有效地确权,通过"可信数字化"的数据上链过程,有效地保障数据的真实性,实事求是地为产业解决过往难以解决的问题,从"降成本"和"提效率"两个方面推动各行业的转型升级. 日前,在2019华为中国生态合作伙伴大会上,华为云就发布了区块链+政务.区块链+公司间交易.区块链+供应链物流

(转)云存储:阿里云OSS 、又拍云和 七牛 的比较

阿里OSS:好处就是,那是一套完整的体系,存储,数据库,CDN,服务器,阿里都可以给你全包.缺点,费用对于没有盈利的网站来说太高了,好像定位就是给那些高端客户使用的,而且CDN,OSS的流量是分开收费,带宽(2倍成本,呵呵).又拍云:算是老牌静态存储服务商,自带有CDN.存储空间可以弹性增加(不知道可不可以弹性减少,我只是免费使用了一下).费用计算公式(空间和流量),请求次数是免费.可免费试用7天.开源的程序(DZ,PW,WP)都有插件,也可以直接使用FTP,对于技术上要求不是太高就可以使用.七