剖析XtremIO的XDP技术

在闪存上如何建RAID是存储行业一直关心的一个问题。大家知道传统RAID是不能直接部署到SSD盘上去的,除非采用RAID0或者RAID1的配置方式。如果强行把RAID5或者RAID6部署到SSD上,那么SSD的写放大问题将会变得尤为突出,SSD盘的使用寿命将大打折扣。因此,如何在SSD的基础上构建RAID成为闪存阵列需要考虑的一个问题。

EMC的XtremIO系统是一款非常典型的全闪存阵列,其采用了很多有别于传统阵列的设计技术,其中,面向数据保护的RAID就是采用了比较新颖的思路。XtremIO的RAID是一种面向RAID2.0技术的新型RAID。其最大的特点在于数据重构时间短、面向内容的数据恢复方式。由于SSD技术本身不存在随机读写问题,因此非常适合RAID2.0技术的应用。可以说,RAID2.0和SSD技术是天生一对。除了采用RAID2.0这项技术以外,XtremIO的RAID在数据布局上也有所不同,宣称没有采用RAID5、RAID6这种传统的数据校验算法,并且在空间使用率方面要比传统RAID高很多。由于EMC没有对外发布详细的技术细节,因此,很难准确的知道EMC的XDP到底是一个什么样的神秘系统。

但是,通过EMC发布的新闻材料,可以推测出来XDP的真实面目。首先,XtremIO的XDP宣称Capacity overhead只有8%,但是可以达到的保护效果和RAID6一样,然后给出了下面一个表格数据:

这样的数据的确有点不可思议,给XDP徒增了很多神秘感。其实,通过分析发现,XtreamIO的RAID配置是23+2,也就是说23块数据盘配置两个冗余盘,这样达到的Capacity Overhead是8%。这显然是可以达到的,所以,XDP的Capacity Overhead不应该是XtremIO的特色,其最大的特色还是在于数据校验算法方面。

XtremIO的XDP数据校验算法如下图所示:

整个RAID中的盘被分成数据盘和校验盘两大类,其中两个校验盘也可以像传统RAID一样称之为P、Q盘。所不同的是,P、Q盘上的数据不像传统RAID那样通过一个条带中的数据计算出来。而是将校验信息的生成分为水平校验码和对角线校验码两种,这两个校验码组成了P、Q码。

例如,上图中,P码的生成和传统RAID5的方法完全一致,但是Q码是通过对角线上的数据生成的。因此,上图中可以生成5份对角线Q码。和传统RAID相比,这种编解码的算法复杂度要小于传统RAID6,和RAID5的算法复杂度是相同的。只存在XOR操作,没有乘法操作。从这点上来看,XDP的编解码效率要高于传统的RAID6算法。

追根溯源,这种对角线编解码的算法其实很早就有,只是在磁盘存储领域很难应用。而在XtremIO系统中,为了降低写放大,数据会在有电池保护的内存中进行聚合,然后再写入SSD,因此,就可以采用上述XDP方式对数据进行保护。

从外界的测试结果来看,XtremIO的RAID性能表现不错,其一方面得益于RAID2.0;另一方面也和XDP的编解码算法有一定关系。

Flash闪存技术在不断的往前发展,一些以前在磁盘存储中无法应用的技术也可以在闪存存储中找到自己的一席之地,真可谓***!闪存存储系统的设计要面向闪存自身的特性,只有这样的系统才是一个真正的好系统。

剖析XtremIO的XDP技术,布布扣,bubuko.com

时间: 2024-10-24 08:48:16

剖析XtremIO的XDP技术的相关文章

《Artech的WCF剖析系列》系列技术文章整理收藏

<Artech的WCF剖析系列>系列技术文章整理收藏 1控制并发访问的三道屏障: WCF限流(Throttling)体系探秘[下篇] 2使命必达: 深入剖析WCF的可靠会话[实例篇](内含美女图片,定力差者慎入) 3使命必达: 深入剖析WCF的可靠会话[概念篇] 4WCF如何克服HTTP传输协议的局限提供对不同消息传输模式的实现 5WCF中并发(Concurrency)与限流(Throttling)体系深入解析系列[共7篇] 6使命必达: 深入剖析WCF的可靠会话[协议篇](上) 7使命必达:

双重编解码算法对比

概述 双重编解码算法是实现数据保护的关键技术.磁盘阵列中的常用算法是RAID6,其属于Reed-solomon算法范畴.RAID6算法计算复杂度较高,往往需要硬件加速单元的支持.随着闪存技术的发展,新的编解码技术层出不穷,因此有必要了解常用阵列技术的双重编解码算法,通常来讲,常用双重编解码算法主要有如下三种: 1,二维(2D)奇偶校验方法 2,EVEN-ODD编码校验法 3,Reed-Solomon编码校验法 下面会对这三种算法的原理进行详细说明,然后对比这三种算法的性能及计算复杂度. 二维奇偶

运营商流量劫持攻击之链路劫持剖析

运营商流量劫持攻击之链路劫持剖析 0x00 前言 链路劫持属于流量劫持攻击的一种,在电商领域较为常见,网络上也有不少案例.本文作者将会结合公司实际发生的案例来简要剖析链路劫持有关技术.由于作者水平有限,见解浅显在所难免,望大牛勿喷,如有描述不当之处望各路看官批评指正. 0x01 劫持案例分析 案例现象描述: 有用户反馈访问公司部分业务的URL时被重定向至公司其他业务的URL,导致用户无法请求所需的服务,严重影响了用户体验以及用户利益.我们第一时间通过远控的方式复现了上述现象,并及时抓取了相关数据

网站自动适配技术实现原理

云适配:http://www.yunshipei.com/ 网页自适配已经成为网站的不二之选,自适配是帮助传统网站快速抓住移动互联网这根稻草的有效解决方案,切图公司首个推出网页适配解决方案——微适配.并且揭露技术上网页适配的实现原理. 允许网页宽度自动调整 “自适应网页设计”到底是怎么做到的?其实并不难.切图微适配(weishipei.qietu.com)为您剖析网页适配的技术实现原理: 首先,在网页代码的头部,加入一行viewport元标签. viewport是网页默认的宽度和高度,上面这行代

Spark从入门到上手实战

Spark从入门到上手实战 课程学习地址:http://www.xuetuwuyou.com/course/186 课程出自学途无忧网:http://www.xuetuwuyou.com 讲师:轩宇老师 课程简介: Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐.Spark 生态栈框架,非常的强大,可以对数据进行批处理.流式处理.SQL 交互式处理及机器学习和Graphx 图像计算.目前绝大数公司都使用,主要在于 Spark SQL 结构化数据的处理,非常的快速,高性能

GitHub 中国区前 100 名到底是什么样的人?

本文根据Github公开API,抓取了地址显示China的用户,根据粉丝关注做了一个排名,分析前一百名的用户属性,剖析这些活跃在技术社区的牛人到底是何许人也!后续会根据我的一些经验出品<技术人员如何建立自己的个人品牌><优雅的程序员列传>欢迎加我微信diycodes交流. Github中国区前一百名城市分布,令人比较意外的是IT重镇深圳和广州居然和北上杭差距那么大!(其中China表示没有注明具体城市用户) Github中国区前一百名语言分布图,前端开发者依然霸占着大多数,移动开发

linux的FTP服务器搭建及FTP服务器的入侵和防御

FTP 是File Transfer Protocol(文件传输协议)的英文简称,而中文简称为"文传协议".用于Internet上的控制文件的双向传输. 与大多数Internet服务一样,FTP也是一个客户机/服务器系统.用户通过一个支持FTP协议的客户机程序,连接到在远程主机上的FTP服务器程序.用户通过客户机程序向服务器程序发出命令,服务器程序执行用户所发出的命令,并将执行的结果返回到客户机. 用户分类 Real帐户 这类用户是指在FTP服务上拥有帐号.当这类用户登录FTP服务器的

GitHub中国区前100名到底是什么样的人?

本文根据Github公开API,抓取了地址显示China的用户,根据粉丝关注做了一个排名,分析前一百名的用户属性,剖析这些活跃在技术社区的牛人到底是何许人也!后续会根据我的一些经验出品<技术人员如何建立自己的个人品牌><优雅的程序员列传>欢迎加我微信diycodes交流. Github中国区前一百名城市分布,令人比较意外的是IT重镇深圳和广州居然和北上杭差距那么大!(其中China表示没有注明具体城市用户) Github中国区前一百名语言分布图,前端开发者依然霸占着大多数,移动开发

【转载】GitHub中国区前100名到底是什么样的人

转载了这篇文章: http://www.jianshu.com/p/d29cba7934c9 这篇文章真是太牛了!转载过来涨涨见识,同时好好励志一把.还有,ruanyifeng怎么长那样... 哈 另,最新排名及github用户信息可以查看:http://www.githubrank.com/ 本文根据Github公开API,抓取了地址显示China的用户,根据粉丝关注做了一个排名,分析前一百名的用户属性,剖析这些活跃在技术社区的牛人到底是何许人也!后续会根据我的一些经验出品<技术人员如何建立自