【理论研究】漫谈云计算IT基础设施05-超融合技术

其实超融合这一块,放在云计算IT基础设施里面,不算是完全合适。你说它是分布式存储,但是它同时又是硬件服务器与存储;你说它算硬件,但是它又离不开分布式存储软件。

一、超融合架构

传统的IT基础设施架构,主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化,逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。

2019年11月的Gartner超融合产品魔力象限中,领导者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN,而VMware提供的则是VSAN纯软件的解决方案)

Nutanix能够成为超融合领导者中的领导者,自然是经过市场的充分验证,得到市场的认可。而且由于其公开资料(Nutanix 圣经)比较齐备,因此我们可以通过Nutanix一窥超融合的究竟。

二、关于Nutanix的起源、背景、设计理念等:

这边就不搬运了,可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”,可以找到相应的官方文档。

三、Nutanix的技术特点(以下部分为个人根据圣经与实际测试结果归纳,与圣经内容有部分重复):

一)逻辑架构:

引用自NUTANIX圣经-“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台,在2U空间中提供2或4个节点。

每个节点运行着hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虚机(CVM)。Nutanix CVM中运行着Nutanix核心软件,服务于所有虚机和虚机对应的I/O操作。

得益于Intel VT-d(VM直接通路)技术,对于运行着VMware vSphere的Nutanix单元,SCSI控制(管理SSD和HDD设备)被直接传递到CVM。”

个人总结:从以上官方文档可知,2U的空间可以安装2~4个Nutanix节点(每个节点相当于1台物理服务器),所以设备装机密度非常高。每个节点都安装着虚拟化软件,并且在虚拟化层之上再运行着一台Nutanix的控制虚机(CVM),该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘,替代磁盘阵列作为存储使用,单个节点有独立的CPU与内存,作为计算节点使用。

二)Nutanix的数据读写原理

1、基础架构

以3个Nutanix节点为例,每个节点安装有Hypervisor,在Hypervisor之上运行着客户虚拟机,并且每个节点有一台Nutanix控制器虚机Controller VM,配置有2块SSD与4块HDD,通过SCSI Controller作读写。

2、数据保护

Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同,而是与一般的分布式存储一样,通过为数据建立副本,拷贝到其他Nutanix节点存放,来对数据进行保护,Nutanix将副本的数量称作RF(一般RF为2~3)。

当客户虚机写入数据“见图上1a)流程”,数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域(相当于Cache的作用),然后执行“1b)”流程,本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog,拷贝份数视RF而定。当其他节点CVM确定数据写入完成,会执行“1c”流程,给出应答写入完成。通过数据副本实现对数据的保护。

数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域,是按照一定的规则异步进行的,具体详见下面的部分。

3、存储分层

Nutanix数据写入以本地落盘为主要写入原则(核心原则)。
当客户虚机写入数据是,优先考虑写入本地SSD(如果SSD已用容量未达到阀值),如果本地SSD满了,会将本地SSD的最冷的数据,迁移到集群中其他节点的SSD,腾出本地SSD的空间,写入数据。本地落盘的原则,是为了尽量提高虚机访问存储数据的速度,使本地虚机不需要跨节点访问存储数据。(这点应该是与VSAN与其他分布式文件系统最大原理性区别)

当整个集群的SSD已用容量达到阀值(一般是75%),才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。

SSD迁移数据到HDD,并非将所有数据全部迁移到HDD,而是对数据进行访问度冷热的排序,并且将访问较少的冷数据优先迁移到HDD硬盘中。

如SSD容量达到95%的利用率,则迁移20%的冷数据到HDD;如SSD容量达到80%,则默认迁移15%的冷数据到HDD。

4、数据读取与迁移


Nutanix圣经引用-“<u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化(data locality),是Nutanix超融合平台强劲性能的关键所在。所有的读、写I/O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点,而需要访问的存储数据在另外一个物理节点的情况,VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>

<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时(或者发生HA切换),此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据(存储在之前节点的CVM中)时,I/O请求将通过本地CVM转发至远端CVM。所有的写I/O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时,将在后台自动将数据移动到本地节点中,从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁,进而避免过大的网络压力。</u>

个人总结:即一般虚机读写数据都是读本地节点的硬盘,如果本地节点硬盘没有该数据,会从其他节点先拷贝过来本地节点硬盘,再为本地虚机提供访问,而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。

5、Nutanix解决方案的优缺点

Nutanix方案优点:

1) 本地落盘策略,确保虚机访问存储速度:虚机写入的数据都在本物理节点的磁盘上,避免跨节点存储访问,确保访问速度,减轻网络压力。

2) 采用SSD磁盘作为数据缓存,大幅提升IO性能:
表格数据引入原文:[SATA,SAS,SSD 读写性能测试结果](侵删)

见上表数据,从随机的读写来看,SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略,虚机数据写入,仅有本地的2块SSD硬盘作为数据缓存负责写入数据。

但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍,IO性能大幅提升。(相当于要超过2000块SATA硬盘做Raid,才能提供近似的IO性能)。

3)永远优先写入SSD,确保高IO性能

数据写入HDD不参与,即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD,然后还是SSD进行读写,确保高IO。后续异步将SSD冷数据迁移到HDD。

4)数据冷热分层存储

冷数据存放在HDD,热数据保留在SSD,确保热点数据高IO读取。

5)设备密度高,节省机房机架空间

2U可以配置4个节点,包含了存储与计算,比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。

Nutanix方案缺点:

1)本地落盘及SSD缓存方案确保了高IO,但是硬盘的带宽得不到保证。

传统磁盘阵列,多块SATA/SAS硬盘加入Raid组,数据写入的时候,将文件拆分为多个block,分布到各个硬盘中,同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写,从而提升IO与带宽性能。

而Nutanix的解决方案中,单个文件的读写遵循本地落盘的策略,因此不再对文件拆分到多块硬盘进行并行读写,而只有本地节点的SSD硬盘会对该文件进行写入。

虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍,但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升,而传统Raid的方式,多块硬盘并行读写,虽然IO比不上SSD,但是带宽则比单块/两块SSD带宽高出很多。

因此Nutanix的解决方案适合用于高IO需求的业务类型,但是因为它的读写原理,则决定了它不合适低IO、高带宽的业务类型。

三)行业竞争对手对比:

VMWARE EVO RAIL软件包:VMware没有涉足硬件产品,但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售,并向客户提供所有硬件和软件支持。

而EVO:RAIL的核心,其实就是VSphere虚拟化软件+VSAN软件的打包。

硬件设计方面,基本上与Nutanix的理念一致,2U设备安装4个节点,每个节点有独立的CPU与内存,3块HDD,1块SSD。
但VSAN与Nutanix最大的一个区别,就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数,将本地虚机的数据读写设置为横跨多个节点的硬盘,默认条带系数为1,最大可设置为12个,即一个虚机的数据写入,可以同时采用12个节点的SSD硬盘并行读写。

通过这种方式,VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高,IO要求低的业务类型的缺点。

但是这种横跨物理节点的访问流量,在虚机数量众多的情况下,肯定会给网络带来压力,网络带宽可能会成为另一个瓶颈。

其次VSAN可以集成在Hypervisor层,而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。

再次,Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor,而VSAN仅支持自家的ESXI。

其他待补充:由于暂时未对VSAN进行实际部署测试,仅停留在对其原理的研究,因此,关于VSAN的部分待后续平台上线测试完成后继续补充。

原文地址:https://blog.51cto.com/14423403/2484787

时间: 2024-10-11 05:53:06

【理论研究】漫谈云计算IT基础设施05-超融合技术的相关文章

私有云建设之超融合技术

目前,在私有云建设(很多可能并不是真正的私有云,也包括一些虚拟化平台的建设)中,超融合出现的身影越来越多,本文 我们探讨下超融合技术. 一 什么是超融合 既然在说超融合架构,那就肯定有一般的融合架构,这其实也是目前行业内对于超融合定义争论的焦点,也就是说哪些定义为 融合架构,哪些定义为超融合架构. 个人来说比较倾向于以下定义:天然地(Natively)将两个或多个组件组合到一个独立的单元中,这句话的关键词是天然地 (Natively).这种定义有个好处就是留了很多自由解释的空间,没有把这个边界框

【理论研究】漫谈云计算IT基础设施04-存储虚拟化

本文欢迎转载,转载请注明出处和作者. 存储虚拟化的概念也是一个发展的过程. 在实现了计算虚拟化与网络虚拟化的时期,存储其实还未完成彻底的虚拟化,但是由于计算与网络都已经被叫上虚拟化了,所以存储也不得不借虚拟化的概念热炒一波. 因此在当时,以IBM SVC为首的一批名为虚拟化存储网关(如EMC VPLEX.华为Oceanstor VIS 6000)的设备,承担了存储虚拟化的名头. 01-存储虚拟化网关 如前面文章所说,存储这东西非常讨厌,不像x86服务器,资源不够了,可以直接scaleout扩容,

杉岩数据:以超融合技术铸造音乐殿堂

在经济全球化的大背景下,中国制造业面临着更加激烈的竞争,市场日新月异的变化使得制造业在从事生产的同时,为了缩短产品周期.管理复杂的库存,提高与供应商的协作效率以及如何快速有效地处理订单等问题,对于IT的效率要求越来越高.随着企业规模的扩展,迫切需要重塑IT以支持持续的业务创新与发展. 客户背景 深圳市韶音科技有限公司(简称"韶音科技")成立于2004年,公司集研发.生产.销售于一体,拥有自主的品牌与知识产权,是国家高新技术企业,也是深圳市重点扶持的科技创新型企业.由于公司多年以来在研发

基于WinSvr2016(TP)构建的&ldquo;超融合技术架构&rdquo;进阶篇

之前我有给大家介绍过<基于WinSrv2016(TP)构建的"超融合基础架构">,架构如下: 那大家还记得微软从Windows Server 2012推出的SOFS(横向扩展文件服务器)吗?忘了的话可以参考徐老师的博文<构建横向扩展文件服务器>,架构如下: 那么我今天想把2个东西合为一体,那么我接下来要做的就是超融合架构里再增加SOFS层上构建虚拟机,这样可以达到什么样的效果呢?最后我再告诉大家.那架构如下: 那基于之前的环境,我来构建SOFS吧: 选择SOFS

【理论研究】漫谈云计算IT基础设施03-网络虚拟化

本文欢迎转载,转载请注明出处和作者. 网络虚拟化 01-虚拟交换机 初期的网络虚拟化,是非常狭义的概念,主要指的是因为计算资源虚拟化,每台物理宿主机上安装了虚拟化软件,同时会部署了虚拟交换机,负责物理机上面承载的VM(虚拟机)之间与对外的通信. 这些虚拟机逻辑上都是接入到这台物理宿主机上面的虚拟交换机的,同一台物理宿主机上面同一网段的虚拟机之间间的通信,流量只会在这台虚拟交换机内部转发,流量根本不会通过物理宿主机的物理网卡网外发送到物理交换机上面.(不同网段的虚拟机之间的通信,流量会经过网关,而

【理论研究】漫谈云计算IT基础设施02-计算虚拟化

本文欢迎转载,转载请注明出处和作者. VMware产品线全景图 虚拟化,就是通过在硬件之上,操作系统之下,先安装一层Hypervisor(虚拟化操作系统),例如VMware的ESXI或者Citrix的Xen Server.然后通过Hypervisor调度与切分底层的硬件,然后构成一台台虚拟出来独立工作的主机(虚拟机). 虚拟机利用划分给它的硬件资源,再安装操作系统(如windows),然后再在OS上面安装应用. 为什么要用虚拟机,因为以往为了业务系统的独立性,会单独采用不同的物理硬件,来承载不同

云计算超融合一体机,加速企业互联网下半程

2018年5月,中国软件网.海比研究联合出品了<2018中国企业服务生态发展状况研究报告>,该报告得出的结论是2018年企业上云将呈现三大特点,即大型企业上云减速,中型企业上云加速,小微企业上云加加速.而2018年大型企业上云的积极性有所减弱,主要原因是:数字化转型没有最佳实践,困扰CIO们继续更进一步推动企业上云:第二,这两年数据安全引发的事故越来越多且影响越来越大,企业对于数据上云越来越慎重. 在另一方面,2017年×××印发了<关于深化"互联网+先进制造业"发展

超融合与云计算的不同之处是什么?

近年来,超融合技术在私有云中越来越流行.更多的客户希望了解超融合技术和云计算之间不同之处是什么?.首先,我们需要了解什么是超融合?什么是云计算?接下来,云容科技来分享给你一些实用的和可以理解的东西. 一.什么是超融合? 为了进行图像类比,传统的方法是根据不同的应用要求分配相应的服务器.然而,超级融合就像一个"框",将应用服务器的计算.存储和网络资源重新组合在一起,并通过软件定义将所有资源关联起来. 超级融合是一种预先集成所有资源并整体交付的消费和服务模式,不仅满足了企业对端到端整体解决

【转载】超融合一体机角逐云计算市场

开源势不可挡 超融合一体机角逐云计算市场 [日期:2016-12-12] 来源:中国网  作者: [字体:大 中 小] 如今,开源正在成为新一代IT技术发展的重要方向,纵观2016年的IT行业可以发现,"开源"无疑是最热门的关键词之一.如果说开源更多集中在软件系统层面,那么,在硬件层面,超融合技术无疑已经成为未来发展的趋势,这种通过将计算.存储.网络等硬件和软件资源整合到一起的一整套系统,在简化部署.提高运维效率.降低成本等方面有着突出的优势. 在开源和封闭的对决中,最终胜出的一定是开