超融合架构浅谈

为什么叫浅谈呢,因为就是自己的观点,受知识所限难免偏颇。数据中心里面真正的东西总结起来就是三大部件:计算、存储和网络。这三大部件的演变过程是:硬件—虚拟化—融合。

在传统独立硬件时代,计算资源就是服务器,存储也是独立的硬件设备,因为服务器和存储之间的相互连接就构成了网络。不管是TCP/IP还是FC,这些构成服务器和存储之间连接的网络部分,随着服务器硬件的升级和存储的硬件的升级而成为瓶颈。为什么不把碍事的连接网络去掉,将最强的直接融合在一起,即服务器和存储硬件融合在一起,并且实现扁平化。在超融合时代,数据中心将实现扁平化,用软件定义的方式,使用标准x86服务器实现数据中心基础架构的扁平化。所谓超融合,从形式上对数据中心进行了重新定义,而不是存储。但是现在所谓的超融合,虽然强调的是将数据中心的计算、存储和网络融合在一起,但是在我看来也就融合了计算和存储部分。

这个领域当然最著名的是Nutanix,于2011 年推计算和存储一体机NX 家族,硬件平台是Supermicro的2U密度优化型服务器,支持1-4个双路英特尔至强节点。软件上,Nutanix采用Google著名的MapReduce分布式计算框架,配以类似GFS的NDFS(Nutanix Distributed FileSystem,Nutanix 分布式文件系统)实现的计算和存储的分布式集群。

但是在网络部分,其需要配置一台万兆交换机互联各个节点。包括在其本身一台2U服务器内的多个节点之间的互联。你在逗我吗?这样也敢网络融合。没有看见所谓超融合在硬件方面有哪些牛逼的融合改进,只看见将其进行模块化定制在标准x86服务器内安插不同类型的承载计算资源的主板,外加标准x86服务器本地本身可自带的服务器盘位。扁平化了是没错,分布式了扩展牛逼也没错。但是不好意思的是,网络部分还没融合进去。

所有这样来说,所谓超融合和刀片服务器的区别在于,刀片服务器以及将计算资源和网络进行了融合,超融合是计算资源和存储系统的融合。

现阶段的超融合系统就是一个概念,利用现有的技术堆叠起来的一个技术堆栈。计算部分采用分布式框架和虚拟化架构,存储采用分布式文件系统,硬件采用万兆网卡加SSD堆IO。这种架构现目前也就只能适应分布式的应用,比如虚拟桌面。真正的高并发高吞吐的IO的应用还不太适应,比如OLTP应用,我认为还需要进行硬件优化和软件系统的优化,随着技术的进步,超融合才有可能取代现有的传统存储。而且这个阶段的超融合概念意味明显。只有真正的将网络也融合进入标准的服务器内部并实现扁平化,这样才是真正的将计算、存储和网络融合在一起,才是真正的超融合。现目前国内的超融合系统,大部分厂家都是基于基于OpenStcak或VMware和CEPH深度优化的,自己写代码实现的很少,更别说硬件的更加深度融合和定制。

在这里我们做个假设,如果需要将网路融合了进入x86的主板内,是在主板上集成网卡然后在内部集成互联的小交换机吗?借鉴刀片服务器的做法?我认为最好的办法就是采用InfiniBand技术在内部进行互联,在InfiniBand的技术构想中,InfiniBand直接集成到系统板内,并且直接和CPU以及内存子系统互动。InfiniBand是一个统一的互联结构,既可以处理存储I/O、网络I/O,也能够处理进程间通信(IPC)。同时个节点之间采用PCIE闪存卡作为FlashCache。利用InfiniBand还可以利用它的技术特性,比如RDMA(Remote DirectMemory Access)远程内存访问,Infiniband发展的初衷是把服务器中的总线给网络化。为什么要网络化?我们知道,计算机中是总线是共享的,而且总线的吞吐能力是由总线时钟决定的(比如33.3MHz,66.6MHz以及133.3MHz)和总线的宽度(比如32位或者64位)决定的。所以Infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(DirectMemory Access)技术在Infiniband中以RDMA(RemoteDirect Memory Access)的形式得到了继承。这也使Infiniband在与CPU、内存及存储设备的交流方面天然地优于万兆以太网以及FibreChannel。可以想象在用Infiniband构筑的服务器和存储器网络中任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块,而这是FibreChannel和万兆以太网所不可能做到的。而且利用RDMA我们可以构建一个以所有服务器内存为基础的统一的高级缓存架构,次一级的PCIE闪存卡作为FlashCache的统一的一个更优于本地SSD缓存的架构。这样的架构下,内存为最高优先级的以及缓存、PCIE Flash为二级缓存,本地的SSD为三级缓存。形成一个统一的分层的高速缓存池。这个缓存池可以卸载、重排、优化网络IO和存储IO。同时网络硬件的融合还需要软件的驱动,在软件部分还需要真正的融合SDN,真正实现不只是软件定义计算、软件定义存储,还需要软件定义网络,这样就实现了真正的超融合。

时间: 2024-10-08 23:32:46

超融合架构浅谈的相关文章

超融合架构真的完美吗?

最早大概是由NUTANIX知道"超融合"概念,原本以为这又是厂商的噱头和炒作,谁知不然,超融合这两年发展如火如荼.2015年被公认为超融合元年,在软件定义存储SDS的推动下,超融合架构正在引领一场巨大的变革,成为软件定义数据中心SDDC的未来技术发展趋势. 超融合架构的优势和客户价值这个已经勿容置疑,各个厂商和媒体已经成功地帮客户洗脑了,和客户交流不提超融合都俨然被认为落伍,这里不用也不想再赘述.从辩证角度看,任何事物都不可能是完美的,超融合是不是也存在一些问题或局限性呢?超融合有适用

CIO访谈实录丨碧生源超融合架构探索之路

客户访谈:制造业 / 服务器虚拟化.桌面虚拟化(VDI) "超融合"的概念在近几年风头正盛,不仅各路玩家扎堆推出相关解决方案,用户们也纷纷将更多目光投向这一能让 IT 基础架构简化增效的 "新式武器". 不过,任何新技术被广泛接受的过程中,都会充满波折与不确定性.当市场期待新技术能够解决当前之困.燃眉之急时,也不免怀着隐隐的担忧与疑虑. 超融合的概念太新了,真的成熟靠谱吗? 它没有经过 5-10 年的长期测试,现在敢用吗? 它在怎样的业务环境中更具优势,我们适合吗?

前端架构浅谈

前端架构浅谈 0.前注 鉴于作者本人的能力有限(非常有限),并且依然在学习中,因此本文的高度和深度必然有所欠缺. 欢迎(并且非常欢迎)大家来批评指正,如果能详细的说明问题在哪里,如何解决和改正,那么就太感谢了!!! 我最喜欢听有理有据的批评了!! 本人QQ:20004604,邮箱:[email protected],期待你的交流. 1.为什么要有一个好的架构 首先明确一点,架构是为需求服务的. 前端架构存在的目的,就我个人理解来说,有以下几点: 1.提高代码的可读性. 一个好的架构,代码的可读性

超融合架构与虚拟化系统的关系

如果说高性能的物理服务器成就了虚拟化,那么虚拟化.高性能物理服务器和高速网络则成就了今天的超融合. 虚拟化技术的普及,让企业数据中心的电力.空间.运维等成本显著节省.高速网络成本的降低则让企业在建设数据中心时万兆已经成为首选.当前,很多企业也利用网络升级改造的机会,将数据中心内部升级成全万兆.数据在数据中心内部移动的过程中,网络不再是瓶颈. 但是,企业的数据产生的速度(特别是大数据.物联网的应用)也是前所未有的迅猛,数据对于存储的性能.容量的要求也越来越高,与数据中心内的其他组件不同的是,存储的

C++插件架构浅谈与初步实现

一.插件架构初步介绍 想到写本博客,也没想到更好的名字,目前就先命这个名吧.说到插件架构,或许大部分IT从业者都听过或者某些牛人也自己实现过稳定高效的插件框架.目前有很多软件以及库都是基于插件架构,例如PS.我所在行业的GIS软件如Arcgis.QGIS.还比如开源图形引擎OGRE以及OSG,这些都是插件架构,通过插件架构来进行功能的扩展.那到底什么是插件架构呢?我的理解是系统运行时在需要某个功能的时候动态加载的模块,插件通常用动态链接库实现,当然也可以用静态库,例如一些嵌入式系统中,比如IOS

oVirt+SSAN超融合架构

1. oVirt+SSAN超融合概述 虚拟化技术在不断发展中日趋成熟,随之而来各种云技术方兴未艾,对存储性能提出了更高的要求.传统网络存储不仅因为性能无法满足不断变化的虚拟化需求,而且是虚拟化环境中成本和管理复杂性的源头,逐渐成为牵绊虚拟化发展的某种瓶颈,超融合(HCI)技术的问世使得虚拟化环境下的存储问题迎刃而解. 超融合技术是为突破虚拟化环境下存储性能瓶颈的制约,提出的一种软件定义的分布式存储与虚拟化环境相融合的解决方案.超融合技术基于通用的x86平台将存储资源进行整合使存储成本可控,采用分

超融合架构和服务器虚拟化是什么关系?超融合厂商提供什么样的服务器虚拟化?

虽然超融合架构以其为用户带来的巨大价值,已经被越来越广泛地接受,但市场上对超融合仍然有诸多不清晰的概念和疑问,本系列文章将力求对这些概念进行逐一解释. 本篇介绍很多人经常问到的融合架构和服务器虚拟化的关系,并介绍不同的主流厂商对服务器虚拟化的支持情况. 首先,超融合是近几年兴起的一种新的 IT 基础架构,这种架构具备以下特点: 1.符合软件定义数据中心理念,一定是通过软件结合标准的 x86 服务器来构建分布式存储,而不使用基于定制硬件的传统集中式存储: 这个概念强调的是分布式存储软件和虚拟化软件

超融合架构与传统IT架构的区别

选择超融合其实是选择一种对效率的提升方式,从某种程度上讲,超融合类似于动车组车厢,每个车厢都将存储.网络.计算融合在一起以保证数据计算存储传输的高效一致性,在扩容.提升算力等方面只需增加节点.模块即可,这解决了业务发展.业务规模.IT维护与规模投资等不确定性带来的成本风险. 从超融合技术产生以来,从虚拟化分布式存储解决方案开始,逐步向相关上下游扩展,以实现真正的“超融合”.起初,各超融合厂商从各自的硬件设备出发,通过单一硬件设备的快速部署设施方向以实现超融合的目的,后来随着软件定义虚拟解决方案的

关于-超融合架构(Hyper-converged)市场产品区别和决策标准

距离写上一篇似乎好久了,公司事太多尤其这个Q,本周还行,所以花些时间把脑子里的东西记下来. 自从2013年vmware宣布超融合vmware vSAN以来,目前超融合市场风起云涌,这次不是在炒概念,我熟知一个厂商更是在2015年卖出了多达100个节点,所以无论是从产品类型还是客户需求来看,超融合必定会在IT市场持续分羹,且越来杯越大. 为了尽可能务实,不变成一篇软文尽量克制自己评论哪个产品"好"或哪个"不好",虽然大部分我确实测试过.先说说分类,在聊下适合场景,最后