------------------------------------重要说明------------------------------------
以下部分内容来网络,部分自华为存储官方教材
具体教材内容请移步华为存储官网进行教材下载
网络引用内容无法找到原创,如有侵权请通知
------------------------------------重要说明------------------------------------
SmartDedupe&SmartCompression特性通过删除重复数据或对业务数据进行压缩,减少数据冗余,节省存储空间。
l 重删数据块大小:用于指定存储系统进行重删的粒度。重删数据块的大小与文件系统块大小一致。根据业务需要,用户可以在CLI( Command Line Interface)下运行create file_system general命令创建文件系统时设置不同的文件系统块大小。
l 压缩数据块大小:用于指定存储系统进行压缩的粒度。存储系统基于新写入文件系统的数据块大小进行智能合并压缩。
l 定长重删:重删过程中,存储系统按照相同的重删数据块大小对文件系统进行重删。
l 哈希算法:校验数据块一致性的方法。通过该方法,可以计算出数据块的指纹信息(指纹信息是一个固定长度的二进制数值,与人的指纹类似,可以看成是每个数据块的唯一标识)。当两个数据块的指纹信息一致时,存储系统会认为这些数据块是重复的。
l 逐字节比较策略:查找重复数据块时,对哈希算法的补充校验方法。当采用逐字节比较策略时,存储系统除了要对比指纹,还需要逐字节比较数据块中的数据。
l 重删元数据:用于保存重删处理相关信息。例如,数据块的指纹信息,重删后数据的存放位置等。
① 重复数据删除
1. 存储系统利用哈希算法计算新写入数据块的指纹信息。数据块的划分粒度与文件系统块大小保持一致,且每次重删处理的数据块大小保持一致,实现定长重删。
2. 通过指纹信息对比新写入数据块与原有数据块是否重复。
– 是 => 存储系统认为新写入的数据与原有数据重复,删除该数据块,并将该数据块的存储位置指向原有数据块的存储位置。
– 否 => 存储系统认为新写入的数据是一个新数据块,将新数据块写入硬盘。
② 数据压缩
存储系统在进行数据压缩处理时,会根据用户设定的压缩策略进行不同程度的压缩。存储系统支持如下两种压缩策略:
Fast: Fast策略是系统默认使用的压缩算法。该算法压缩速度快,但与Deep策略相比压缩后空间节省效率低一些。
Deep: Deep策略可以获得空间节省效率的明显提升,但压缩和解压需要花费更长的时间。
原文地址:http://blog.51cto.com/hostman/2095062