基于OceanStor Dorado V3存储之精简高效 Smart 系列特性

基于OceanStor Dorado V3存储之精简高效 Smart 系列特性

在线重删(SmartDedupe)

OceanStor Dorado V3 在线重复数据删除是指在将数据写入闪存介质之前进行重复数据删除。在线重删的过程如下所述:存储系统会对新写入的数据按照重删粒度进行分块,并对分块计算指纹,与系统中已存在的指纹进行对比(进行查重)。如果找到相同指纹,再读取指纹对应的数据块与新写入数据块进行逐字节对比,如果对比通过,则仅增加指纹索引,不再重复写入数据块。如果未找到相同的指纹或逐字节对比不通过,则写入新数据块,并记录指纹与新数据块地址的映射关系。

在线压缩(SmartCompression)

OceanStor Dorado V3 在线数据压缩是指在数据写入闪存介质之前进行压缩。采用先重删后压缩方式确保仅针对唯一的数据块执行压缩。经过压缩的数据块随后会存储在阵列中。压缩减少了需要写入 SSD 的物理数据总量,可进一步减小 SSD 的写放大(Write Amplification),从而提高闪存阵列的耐用性。
压缩算法是计算密集型程序,在线数据压缩会消耗大量的 CPU 资源,从而影响系统端到端的性能。业界友商普遍采用高性能、低压缩率的开源压缩算法,例如: LZ4, LZO,Snappy 等。 Dorado V3 采用改进型的快速 LZX、 LZ4、 ZTSD 算法,基于开源 LZX、LZ4、 ZTSD压缩算法,结合现有系统特征,压缩效率提升 1 倍的同时,不损失压缩率。

智能精简配置(SmartThin)

智能精简配置以一种按需分配的方式来管理存储设备。智能精简配置不会预先分配所有的空间,而是将大于物理存储空间的容量形态呈现给用户,使用户看到的存储空间远远大于系统实际分配的空间。用户对这部分空间的使用实行按需分配的原则。如果用户的存储空间不足,可通过扩充后端存储资源池的方式来进行系统扩容,整个扩容过程无需业务系统停机,对用户完全透明。

智能服务质量控制(SmartQoS)

SmartQoS 特性又叫智能服务质量控制特性,可以通过动态地分配存储系统的资源来满足某些应用程序的特定性能目标。 SmartQoS 特性允许用户根据应用程序数据的一系列特征(IOPS、占用带宽)对特定应用程序设置特定的上限目标。存储系统根据设定的上限目标,准确限制应用程序的性能,避免非关键应用程序抢占过多存储系统资源,影响关键应用程序的性能。

SmartQoS 采用基于 LUN 或快照的 I/O优先级调度技术和 I/O流量控制技术两种方式来保证数据业务的服务质量。

异构虚拟化(SmartVirtualization)

OceanStor Dorado V3 提供异构虚拟化特性 SmartVirtualization 来接管异构存储系统(包括其他华为存储系统和第三方厂商的存储系统),保护现有投资。使用SmartVirtualization 后,本端存储系统能够将异构存储系统提供的存储资源当作本地存储资源进行使用并对其进行集中管理,无需关注存储系统间软件架构和硬件架构的差异。同时,结合 SmartMigration 特性还可以实现对异构存储系统中的数据进行在线迁移,帮助客户完成新老设备的更新换代和数据搬迁。

异构虚拟化的工作原理:通过把异构阵列映射到本端阵列,把异构阵列的存储空间通过 eDevLUN(External Device LUN)的方式管理和利用起来。 eDevLUN 包括元数据卷(Meta Volume)和数据卷(Data Volume)。元数据卷用于对 eDevLUN 的数据存储位置进行管理,其所需要的物理空间由本端存储系统提供。数据卷是对外部 LUN 数据的逻辑抽象,其所需的物理空间由异构存储系统提供,不占用本端存储系统空间。本端存储系统上创建的 eDevLUN 与异构存储系统上的外部 LUN 是一一对应的关系。应用服务器可以通过对 eDevLUN 的读写操作实现对外部 LUN 的数据访问。
SmartVirtualization 通过 LUN 伪装技术,将 Dorado V3 的 eDevLUN 的 WWN 和 HostLUN ID 设置成与异构存储系统上的 LUN 的信息一致,在数据迁移完成后,通过主机多路径软件实现在线 LUN 的无缝切换,从而在主机不中断业务的情况下完成数据迁移。

智能数据迁移(SmartMigration)

OceanStor Dorado V3 系列存储系统通过 LUN 迁移(SmartMigration)提供了智能化的数据迁移手段。可以在不中断原有业务的情况下实现将源 LUN 上的数据完整地迁移到目标 LUN 上。 LUN迁移不仅支持存储系统内部的数据迁移,还支持华为存储系统和与其兼容的异构存储系统之间的数据迁移。

SmartMigration 特性通过把源 LUN 的数据完整的复制到目标 LUN,在复制过程中采用源 LUN 和目标 LUN双写、差异日志记录等技术,复制完成后采用 LUN 信息交换由目标 LUN 接管源 LUN 业务,实现数据的在线迁移。

多租户(SmartMulti-Tenant for File)

OceanStor Dorado V3 系列的多租户特性又称 SmartMulti-Tenant,实现了在一套物理存储系统中创建多个虚拟存储系统, 让租户在多协议架构中既能共享相同的存储硬件资源,又不影响相互的数据安全性和隐私。

多租户特性主要解决租户之间的隔离问题,包括管理隔离、业务隔离、网络隔离。租户之间不能相互访问数据,以此来达到安全隔离的效果。

智能配额(SmartQuota for File)

在 NAS 文件服务环境中,通常以共享目录的方式将资源提供给使用的部门、组织或个人。而每个部门或个人,都有其独特的资源需求或限制。因此,系统需要基于共享目录,因地制宜地对各个使用者,进行资源分配和限制。
OceanStor Dorado V3 的文件系统配额特性称为 SmartQuota,正是用于满足此需求的技术,该技术可以针对目录、用户、用户组这三类资源的使用者分别进行资源控制。SmartQuota可配置的配额选项有容量软配额、容量硬配额、文件软配额、文件硬配额。

原文地址:https://www.cnblogs.com/cainiao-chuanqi/p/11758893.html

时间: 2024-11-12 18:50:03

基于OceanStor Dorado V3存储之精简高效 Smart 系列特性的相关文章

用“8”个字谈谈华为Dorado V3产品和技术

转载本号文章请注明作者.出处和二维码及全文信息,否则视为侵权. 前不久华为发布Dorado V3全闪存产品,很多专业媒体和自媒体对该产品进行了全方位报道,听闻该产品采用了很多如NVMe.LDCP算法.FlashLink等新技术,所以我也是抱着好学的态度和对技术的热情一一拜读了技术相关文章.细读后发现,关于该产品技术解读却少之又少,后来通过一次技术交流才算对该产品有了比较深入的了解.今天我就把近期所学进行总结并分享给大家,通过技术和产品分析,让大家对Dorado V3及全闪产品也有深入了解. 闪存

基于Cocos2dx+Lua v3.x的RichLabel

RichLabel 简介 RichLabel基于Cocos2dx+Lua v3.x解析字符串方面使用了labelparser,它可以将一定格式的字符串,转换为lua中的表结构扩展标签极其简单,只需添加一个遵守规则的标签插件即可,无需改动已存在代码!!! (标签插件都在labels文件夹下) labelparser的详解labelparser在github上的源码RichLabel在github上的源码 支持图片(缩放,旋转,是否可见) 支持文本属性(字体,大小,颜色,阴影,描边,发光) 支持标签

利用Openfiler配置基于文件系统的网络存储

一.Openfiler简介 Openfiler是一个操作系统,其提供基于文件的网络附加存储和基于块的存储区域网络功能. Openfiler支持的网络协议包括:NFS,SMB/CIFS,HTTP/WebDAV,FTP和iSCSI. Openfiler支持的网络目录包括:NIS,LDAP(支持SMB/CIFS密码加密),Active Directory(本地和混合模式),基于Windows NT的域控制器和Hesiod.认证协议包括Kerberos 5. Openfiler支持基于卷的分区技术:如本

精简高效的css命名准则

对于css,为了避免样式冲突,我们总会赋予相当特殊的命名,或是在选择符上添加html标记,或是使用层级.我们为避免在冲突上做文章,就会把代码的命名变得复杂化. 如果css的重用性越高,相比就越高效.如果名字越普通就越没有含义,越容易被重用,所以css想要重用性高,就需要命名简单.但是,简单的命名越容易造成冲突 面向属性的命名方法 我们习惯在css命名的时候掺杂语义,这样可以让代码更易懂.例如淘宝中免费注册:help-guest-regist .l{float:left} .r{float:rig

基于catalog 创建RMAN存储脚本

--============================== -- 基于catalog 创建RMAN存储脚本 --============================== 简言之,将rman的备份恢复命令写成脚本并保存在恢复目录内,恢复目录内的脚本可用性及通用性高于基于文件系统的脚本. 客户端只要能够登录到RMAN恢复目录,则这些脚本可用,尤其对于global脚本,可以被任意注册的数据库调度. 一.脚本的分类 local : 在rman连接的目标数据库下创建的脚本,此类脚本仅仅适用于当前

【WP8.1开发】基于应用的联系人存储

上一篇文章所吹的牛是访问系统(手机)上的联系人,当然那只是读不能改,这是自然的,要是让你能随便修改用户的联系人信息的话,那后果很严重,有些恶意开发者就有可能把”你的户口改成猪“. 但是,API也允许应用程序读写自己的联系人信息,即系统会为某个应用程序分配一个联系人存储区,应用程序可以在其中读写联系人信息.基于应用的联系人存储会集成到系统的”人脉“应用中,也就是说你保存到属于你的应用的联系人会显示在”人脉“应用中. 用于读写基于应用的联系人的API都位于Windows.Phone.Personal

基于iscsi实现文件存储共享

简单介绍两个概念: iSCSI:Internet Small Computer System Interface.是一种基于 TCP/IP的协议,用来建立和管理 IP 存储设备.主机和客户机等之间的相互连接,并创建存储区域网络(SAN).SAN 使得 SCSI 协议应用于高速数据传输网络成为可能,这种传输以数据块级别(block-level)在多个数据存储网络间进行. iSCSI的工作过程:当iSCSI主机应用程序发出数据读写请求后,操作系统会生成一个相应的SCSI命令,该SCSI命令在iSCS

模板--------注册与登录_基于xml格式的存储

代码: 注册与登录_基于xml格式的存储.zip 功能: > 注册(带验证码) > 登录 ------------- JSP: * login.jsp  --> 登录表单 * regist.jsp --> 注册表单 * index.jsp -->  主页(只有登录成功才能看到) Servlet: * LoginServlet * RegistServlet Service: * UserService --> 与用户相关的业务类 Dao: * UserDao -->

Azure技术08-虚拟机-创建高性能存储,并创建DS系列虚拟机

在使用Azure虚拟机过程中,不免遇到一些应用对磁盘IOPS要求非常高,针对高IOPS要求的应用,我们在以前只能通过Windows系统层面创建RAID的方式来提升磁盘性能,其实Azure高级存储Premium Storage在今年上半年就已经正式向广大用户推出,亮点在于Premium Storage服务采用SSD,并能够带来最高32TB存储容量以及每个VM高达64000 IOPS(即每秒IO操作次数). 在Azure Portal上现在是不支持图形化界面来创建Premium Storage的,所