34、【华为HCIE-Storage】--数据重删 & 数据压缩

------------------------------------重要说明------------------------------------

以下部分内容来网络,部分自华为存储官方教材

具体教材内容请移步华为存储官网进行教材下载

网络引用内容无法找到原创,如有侵权请通知

------------------------------------重要说明------------------------------------

SmartDedupe&SmartCompression特性通过删除重复数据或对业务数据进行压缩,减少数据冗余,节省存储空间。

l 重删数据块大小:用于指定存储系统进行重删的粒度。重删数据块的大小与文件系统块大小一致。根据业务需要,用户可以在CLI( Command Line Interface)下运行create file_system general命令创建文件系统时设置不同的文件系统块大小。

l 压缩数据块大小:用于指定存储系统进行压缩的粒度。存储系统基于新写入文件系统的数据块大小进行智能合并压缩。

l 定长重删:重删过程中,存储系统按照相同的重删数据块大小对文件系统进行重删。

l 哈希算法:校验数据块一致性的方法。通过该方法,可以计算出数据块的指纹信息(指纹信息是一个固定长度的二进制数值,与人的指纹类似,可以看成是每个数据块的唯一标识)。当两个数据块的指纹信息一致时,存储系统会认为这些数据块是重复的。

l 逐字节比较策略:查找重复数据块时,对哈希算法的补充校验方法。当采用逐字节比较策略时,存储系统除了要对比指纹,还需要逐字节比较数据块中的数据。

l 重删元数据:用于保存重删处理相关信息。例如,数据块的指纹信息,重删后数据的存放位置等。

① 重复数据删除

1. 存储系统利用哈希算法计算新写入数据块的指纹信息。数据块的划分粒度与文件系统块大小保持一致,且每次重删处理的数据块大小保持一致,实现定长重删。

2. 通过指纹信息对比新写入数据块与原有数据块是否重复。

– 是 => 存储系统认为新写入的数据与原有数据重复,删除该数据块,并将该数据块的存储位置指向原有数据块的存储位置。

– 否 => 存储系统认为新写入的数据是一个新数据块,将新数据块写入硬盘。

② 数据压缩

存储系统在进行数据压缩处理时,会根据用户设定的压缩策略进行不同程度的压缩。存储系统支持如下两种压缩策略:

Fast: Fast策略是系统默认使用的压缩算法。该算法压缩速度快,但与Deep策略相比压缩后空间节省效率低一些。

Deep: Deep策略可以获得空间节省效率的明显提升,但压缩和解压需要花费更长的时间。

原文地址:http://blog.51cto.com/hostman/2095062

时间: 2024-11-14 11:34:04

34、【华为HCIE-Storage】--数据重删 & 数据压缩的相关文章

浅谈存储重删压缩技术(一)

浅谈重删压缩技术(一) <喜欢更多内容可以关注微信公众号"围炉煮酒论IT"> 作为一个做企业存储市场的存储人,最近两年我不断被重删压缩撩拨着.对于重删压缩这个技术的好坏,真实需求还是伪需求大家看法不一.今天我就只能谈谈我个人的看法. 重删压缩是什么? 重删和压缩时完全不同的两种技术,解决不同的问题. 重删:就是说有很多分相同的数据,我只存储其中一份,其他的重复数据块我保留一个地址引用到这个唯一存储的块即可. 压缩:将一个大字符串中的子串用一个很简短的数字来标记,然后检索该字

浅谈存储重删压缩之三netapp的逆袭

浅谈存储重删压缩之三netapp的优化 摘要:上一期我们回顾了HDS硬盘压缩以及EMC在老架构上改进的设计,本期我们主要来看看命运多舛的Netapp如何更新自己的重删压缩. 谢谢大家的关注和支持,欢迎转载,转载请注明出处. 欢迎大家关注"new_storage" Netapp重删压缩的历史 Netapp实现重删压缩很早,造2010年之前,netapp的NAS设备已经具备了重删压缩的能力.当时全球市场一直将重心放在HDD存储,而netapp实现重删压缩也很能理解,当时有很多温冷数据存储在

华为HCIE认证的份量

人力资源和社会保障部公开的数据显示,在"十三五"期间,中国每年需要在城镇安排就业的人数维持在2500万,就业的总量压力非常大.其中,应届生是新增就业人员的主要来源之一.教育部发布的数据显示,2017届全国普通高校毕业生预计达795万,比2016年多30万.大学生找到理想工作都这么难,职业院校的毕业生就业是不是面临着更大的压力呢? 小编在与深圳职业技术学院.武汉职业技术学院的老师们聊过以后发现,他们所在学校计算机相关专业的学生在获得华为HCIE职业认证后,成了各大用人单位争抢的"

核心思想: 华为七星湖数据存储中心项目在贵安新区开工

集微网综合报道,8月2日上午,华为七星湖数据存储中心开工仪式在贵安新区项目现场举行,意味着华为数据中心正式落地贵安新区,将存储华为在170个.从去年11月签订战略协议到到项目开工,只用了不到9个月时间.华为创始人任正非参加了此次开工仪式. 据悉,华为数据储存中心落地贵州,事实上是“有备而来”.2016年10月,华为投资有限公司在贵安新区买下了一块1000亩的工业用地.2016年11月,贵州省人民政府与华为技术有限公司签订战略合作协议,推动双方在云计算大数据应用发展.物联网和智能制造建设.智慧城市

杭州腾科华为HCIE考试流程

华为HCIE考试流程 华为考试由Prometric考试服务公司代理.华为不同级别与方向的考试项目具有不同的考试要求与流程. 1.实验考试预约 1)预约HCIE实验考试前需首先通过HCIE笔试考试,笔试的有效期为18个月: 2)华为网站填写HCIE实验考试预约申请,需提前30天预约: 2.考试券购买考生需要在预约LAB考试与面试考试前,在华为授权培训中心购买考试券 3.提供考试券预约成功后,需要在30天之内将考试券信息提供给邮箱[email protected],以便验证. 4.参加实验考试 考试

device-mapper 块级重删(dm dedup) &lt;3&gt;代码结构(2)

四.代码结构(2) I/O写流程 及space manager 这一篇我们来介绍dm dedup的核心流程I/O写流程和空间管理的部分 要看的特别清楚这部门的内容,需要结合我之前写过的<device-mapper 块级重删(dm dedup) <2>设计>请添加链接描述一起学习. 我们直接选用深度搜索原则来看代码的内容,比较好理解. 原文地址:http://blog.51cto.com/12580077/2311185

device-mapper 块级重删(dm dedup) &lt;3&gt;代码结构(3)

四.代码结构(2) I/O写流程 上一篇我们来介绍了dm dedup的空间管理这一篇我们介绍核心流程I/O写流程 要看的特别清楚这部门的内容,需要结合我之前写过的<device-mapper 块级重删(dm dedup) <2>设计>请添加链接描述一起学习.在块级重删 设计那一篇已经描述了这一系列的过程,我们再从代码的角度理解一遍. 1.no hash && no lbn即:① compute_hash_bio(dc->desc_table, bio, has

如何停止Netapp卷上卡死的重删任务

Netapp的重删(de-duplication)功能可以为存储节省大量的空间.但是有极少数情况下,针对某个卷启动重删(de-duplication)的任务后,该任务可能会卡死在某一个进度百分比.虽然不影响卷的使用,但是改卷的重删功能相当于失效,需要手动干预.手动停止该任务后,下次开始,重删任务还是停滞在上次卡死的进度上.这个时候就需要回滚(undo)重删任务.然后再开始重删任务.停止重删任务netapp::>volume efficiency stop -volume volname进入特权模

华为HCIE神秘大揭秘

1.全面解读华为认证流程 什么是华为认证? 华为认证是华为技术有限公司(简称"华为")推出了对网络方面的一个证书,这种证书类似于大家的毕业证书一样,企业或者用人单位在招聘的时候,会强制要求工程师具备某一项网络证书,比如HCIP证书或者HCIE证书 华为认证的分类 IP方向 IT方向 认证等级 HCIA证书:华为认证初级网络工程师 意味着企业有能力搭建基本的中小型网络,并将基本的语音.无线.云.安全和存储集成到网络之中,满足各种应用对网络的使用需求. HCIP证书:华为认证高级网络工程师