vSphere 6.5支持512e,NVMe SSD呢?

原创 2017-01-12 朱朋博 金笑雨 企事录

2016年底,VMware终于宣布,从vSphere 6.5开始支持512e扇区格式了。

这当然是好事。不过,不黑不舒服斯基说:原来以前的版本连512e都不支持?现在也还不支持4Kn啊……

有图有真相,不黑不是你大叔则翻出2013年的一个合作伙伴文档作为黑历史,说:瞧,晚了整三年!间隔一个大版本啊……

Vmware曾宣称计划在2013年支持512e,在2015年支持4Kn

泥垢了,别站着说话不腰疼。作为公认业内第一的hypervisor,或者说虚拟化操作系统(OS),vSphere已经很努力了好么!样样都走在别人前面,让别人怎么活?

512e是什么鬼?

512e的重点在于e,即Emulation,是把4KB(4096字节)的物理扇区仿真为512字节的逻辑扇区。为什么要这么做呢?因为,为了能把硬盘的容量做得更大,硬盘行业正在从传统的512字节物理扇区,向空间利用率更高的4KB物理扇区过渡。

512n,512e,4Kn的扇区大小区别

物理扇区4KB,对操作系统展现的(逻辑扇区)也是4KB,叫做4Kn,n是Native的意思——也相对naive。4Kn是大方向,但步子迈太大,必须扯到操作系统。毕竟,还是有些操作系统,还不能直接访问4KB的物理扇区,必须拿512字节的逻辑扇区过渡一下。


好了,作为vSphere的忠实用户,我们真的不是搭砖机来黑VMWare的……但是,必须看到,像ESXi这么重要的操作系统还不支持4Kn,可见保持对512字节扇区的兼容是多么的重要。

可是,4KB扇区又势在必行,那就硬盘退一步,用512e“欺骗”一下操作系统;vSphere进一步,从6.5版开始配合这个欺骗,就构成了我们开头提到的那条“新闻”。

毫无疑问,vSphere最终会全面过渡到支持4Kn的,而512e还会存在相当一段时间。512e与vSphere 6.5及vSAN 6.5的配合,企事录正在准备专文来展示给大家。

今天要讨论的话题,核心是512字节扇区与NVMe SSD。

SSD是不存在512e这种格式的,但要面对类似的问题:要么,对操作系统一概表现为512字节的扇区格式;要么,在4KB的情况下,提供“回到”512字节的选择——或反之。

这么说你就晕了对不对?看来还得动手,我一动手,你就明白了。

既生512B,何生4K?

企事录实验室里对一块华为的NVMe SSD ES3600C V3进行了验证性测试,容量1.6TB,PCIe 3.0 x4接口。


上图为华为官方公布的ES3600C V3的性能指标。对同一块ES36000C V3 NVMe SSD分别在512B格式和4K格式下进行4K数据块读性能测试,相对于512B格式下获得的76万IOPS,4K格式获得了更高的80万IOPS。4Kn不仅能够提升硬盘的容量,更有助于性能的发挥

对官方性能数据进行验证,是企事录实验室拿到产品后要做的第一件事,下图是我们测试时的一个截图:

企事录将华为ES3600C V3 NVMe SSD的扇区格式(Logical Block Address,简称LBA)改为4K之后,通过基准测试工具获得的4K数据块随机读成绩,超过了75万IOPS,平均响应时间仅为0.34ms,最大时间不超过2ms,与华为官方公布的80万IOPS相差无几


华为针对ES3600 V3系列SSD提供的高级管理工具——Huawei NVMe Toolbox。值得注意的是,只有安装了华为提供的NVMe驱动之后,这个工具才能发挥作用

希望重复企事录实验室测试的童鞋,可以通过华为官网下载ES3600C V3的驱动,以及相应的SSD管理工具,即可实现ES3600C V3 NVMe SSD在512B和4Kn之间进行格式转换。

需要注意的是,目前主流操作系统已经对NVMe SSD提供支持,真正做到即插即用。但公版驱动中只使用了常用的API接口,而改变LBA格式等高级API接口并不在其中,所以这也是为何在本次测试中一定要使用华为NVMe驱动的原因。

LBA格式转换工具:嗯,这是个神器

在刚验证完华为ES3600C V3 NVMe SSD的性能之后,VMware就发布了vSphere 6.5,作为国内唯一的一家以技术为导向的第三方分析机构,最新的vSphere 6.5必然是我们的关注重点,在安装了ESXi之后,准备将华为ES3600C V3 SSD作为数据本地存储,但在添加硬盘的时候,这块ES3600C V3 SSD居然不……见……了!WTF!


在ESXi主机上添加ES3600C V3 SSD为本地存储时,ES3600C V3 SSD未能被ESXi主机正确识别到

但是在ESXi主机的高级管理里面(类似于Windows的设备管理器),却又能看到这个PCIe设备……


在ESXi主机的硬件管理页面,可以看到有一个PCIe设备,Non—Volatile memory controller的意思是非易失性存储控制器,表明ESXi主机上存在一个闪存存储设备。NVMe中的NVM也是Non-Volatile Memory的简写

What’s wrong?

经过长达15分钟的沉默,恍然大悟,这块ES3600C V3 SSD的扇区格式(LBA)被改为4K了,VMware现在还不支持4K,即使是vSphere 6.5支持了512e,但仍不支持4Kn。好吧,利用华为的NVMe Toolbox工具,将4K改为默认的512B,再添加硬盘(SSD)。

这块熟悉的SSD又回来了。


将ES3600C V3 SSD的LBA改为512B之后,ESXi主机可以将其添加为本地存储了

值得注意的一个细节是,无论这块华为的盘是在512B扇区格式下还是在4096扇区格式下,其容量都一样显示为1490.4GB(又是1024和1000的三次方关系)。也就是说,物理扇区不变的话,逻辑扇区不影响真实的容量。

这一切我们都看在眼里,只是在操作系统被蒙在鼓里,直到6.5版本vSphere操作系统的眼里都只有512B,对SSD来说,要么统一对操作系统暴露为512字节,要么像华为一样,提供512B和4KB之间的切换工具。vSphere 6.5增加了对512e的支持,对于大容量硬盘是一大进步,使得物理扇区为4KB的硬盘也能用于vSphere环境中,虽然仍要“仿真”成512B……。不管怎么说,还是期待vSphere尽早支持原生4K吧……

结语:

不过话说回来,固态存储真的是为存储争了一大口气,之前企事录在各种公开场合的演讲和推出的文章中都表达过类似的观点,比如说固态存储让存储摘掉了拖后腿的帽子。

今天我们也还要说固态存储为硬件争了一口气:软件别再嫌弃硬件进步慢了,硬件一变化你软件还是跟不上不是?

512e是硬盘的事儿,NVMe SSD也得支持512B才能兼容尚处于“4KB初级阶段”的vSphere,就说这么多吧。

时间: 2024-10-02 03:49:33

vSphere 6.5支持512e,NVMe SSD呢?的相关文章

硬RAID可以为NVMe SSD数据可靠性保驾护航吗?

随着NAND Flash价格的不断下降,NVMe SSD正在慢慢普及.NVMe SSD由于极高的性能常被用作数据缓存,即使NVMe SSD发生故障,数据还在持久化介质中存储,不会导致数据丢失等严重事件.随着NVMe SSD的大量使用,其逐渐被用作持久化存储介质,替代传统磁盘.一旦NVMe SSD被用作持久化介质,便提出了数据保护的需求.传统磁盘采用RAID或者多副本的方式实现数据保护,那么在NVMe SSD上如何进行数据保护?是否还可以采用传统的硬RAID卡为NVMe SSD提供数据保护服务?

文件系统在NVMe SSD上的性能表现分析

文件系统是访问存储的一种常用方式,目前常用的文件系统都是针对磁盘的特性进行设计的.例如,为了解决磁盘随机小数据访问的问题,在文件系统层面引入了Page cache机制,利用内存缓存对这种访问进行加速.大多数业务都会存在数据局部性,因此,通过这种Page cache机制可以很好的提升文件系统的性能.另外,文件系统的数据布局也会考虑磁盘的特性,元数据聚合存放在一起,这样可以高效的实现元数据的存放,避免磁盘抖动.如下图描述,包括文件系统在内的存储软件栈在各个层次都会对磁盘抖动问题进行优化. 在NVMe

在北美闪存峰会上的报告——NVMe SSD数据保护技术

今天在Flash Memory Summit(FMS)峰会上做了关于NVMe SSD数据保护的技术报告.今年是NVMe SSD大规模使用的元年,NVMe SSD在服务器得到了大量支持.互联网大规模部署NVMe SSD.传统行业开始使用NVMe.存储阵列开始向NVMe的方向努力,NVMe SSD将会成为未来的主流存储介质.在NVMe SSD向前推进的过程中,有一个问题不得不需要面对与解决,这个问题就是NVMe SSD盘的数据保护问题.传统SATA/SAS SSD可以使用硬RAID来解决数据保护问题

NVMe SSD是什么?

一直对闪存存储关注的朋友对NVMe SSD一定非常熟悉,NVMe SSD是现如今性能最好的存储盘.这种高性能盘在互联网领域已经得到了大规模应用,但是在行业用户还没有得以大范围普及.很多人对NVMe SSD也许还比较陌生,不知道如何应用该类型盘,并且给自己的业务带来价值.和SATA/SAS SSD以及HDD相比,她到底又有何神秘之处呢?在此我想对NVMe SSD做一些介绍. 提到NVMe SSD,不得不提Fusion IO率先研制的PCIe SSD,10年前Fusion IO率先采用PCIe接口的

[转帖]深度: NVMe SSD存储性能有哪些影响因素?

深度: NVMe SSD存储性能有哪些影响因素? http://www.itpub.net/2019/07/17/2434/ 之前有一个误解 不明白NVME 到底如何在队列深度大的情况下来提高性能, 现在看来是因为 比AHCI多了 多队列的控制来提高性能. 导读: NVMe SSD的性能时常捉摸不定,为此我们需要打开SSD的神秘盒子,从各个视角分析SSD性能影响因素,并思考从存储软件的角度如何最优化使用NVMe SSD,推进数据中心闪存化进程.本文从NVMe SSD的性能影响因素进行分析,并给出

一种NVMe SSD友好的数据存储系统设计

闪存介质的大规模使用给传统存储系统的设计带来了强烈的冲击,传统存储系统的很多设计理念不再适用于闪存存储系统.传统存储在设计过程中紧紧围绕磁盘抖动问题,所以在数据布局方面会适应磁盘的顺序读写特征.在设计过程中会大量采用内存作为磁盘缓存,利用数据局部性特征过滤掉大量的磁盘操作,并且将小写聚合成大写:在IO调度器方面,通过LBA的调度将地址临近的IO进行聚合,从而可以优化IO Pattern,使得磁盘的读写操作具有更强的顺序性:在磁盘内部,通过NCQ方式减少磁头的抖动,根据磁头当前所在位置对输入IO进

Intel NVME SSD 固件升级步骤

准备工具和FW固件 issdcm-3.0.4-1.x86_64.rpm P4500_new_fw.bin 安装rpm 包 rpm -i issdcm-3.0.4-1.x86_64.rpm 确定要更新的盘符 nvme list [[email protected]]# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ------------------------

在vSphere环境下简单测试Windows 2016 S2D (1)

伴随这两年SDDC(软件定义的数据中心)越来越热,作为其中重要的建设区块的软件定义存储(SDS)也越来越多地被各行业,各类规模的数据中心所使用.作为SDS厂商之一的微软,面对这块蛋糕当然不甘人后,从Windows Server 2012开始,微软隆重推出了他的SDS解决方案--Storage Space.该版本还是需要建立在共享磁盘柜(JBOD)的基础上,和其他主流SDS厂商一样,其目的是通过将JBOD里各类磁盘加入到一个或多个存储池,再从存储池里划分存储空间(Storage Space)给单台

NVMe Windows 支持情况

From NVMe 官网: Windows Driver – Microsoft Inbox ? Closed source driver (Microsoft)? Inbox driver to Windows operating systems (not available as standalone driver)? NVMe 1.0e compliant (no support for multi-initiator, NS mgmt, controller list, etc.)? L