大道唯简----存储架构演变之剖析

随着云计算和大数据的发展,传统的基于主机的存储架构已逐渐向网络化、虚拟化、海量云存储发展,从分散走向集中,存储的性能、效率和扩展性、灵活性被企业普遍关注。从更高层次看,存储不仅需要提供数据的管理、数据复制、快照、镜像、迁移等例行性事物,更要能处理数据的灾难恢复、数据一致性、虚拟化融合、弹性计算与资源扩展等工作,这些都依赖于良好的存储架构来满足。

结合企业的IT建设,我们可以把存储架构的演变归纳为三个阶段。

第一个阶段是存储基本架构的演进过程。

在企业建立初期,用户的数据规模并不大,存储需求也相对简单。我们一般是采用DAS直连存储的架构方案。这种存储方案的服务器结构如同PC机架构,外部数据存储设备(如磁盘阵列、磁带机、光盘机等)都直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分。DAS的这种直连方式可以解决单台服务器的存储扩展、高性能传输需求,同时可以构建基于磁盘阵列的双机高可用系统,满足数据高可用的需求。但由于这种存储技术是把设备直接挂在服务器上,随着需求的不断增大,越来越多的设备添加到网络环境中,导致服务器和存储独立数量较多,资源利用率低下,使得数据共享受到严重的限制。因此适用在一些小型网络应用中。

随着企业的发展,应用的复杂度不断加大,需要在不同操作系统间共享文件和应用,并提高性能和存储的扩展性。NAS存储技术改进了DAS存储技术,通过标准的拓扑网络,可以无须服务器直接与存储设备连接,不依赖于通用的操作系统,所以存储容量可以很好的扩展,对于原来的服务器性能也没有任何的影响。但是NAS不适合数据库存储(不适合I/O密集型应用),另外传输速率低成为瓶颈。

在企业中,某些核心应用对性能和可靠性有更高的要求,但是NAS存储技术方案的传输速度和效率是有限的。FC技术出现后,SAN存储网络得到了快速发展,在企业中得到了很好的应用。SAN存储区域网采用高速光纤通道作为传输体,突破传统网络的瓶颈,在服务器与存储设备之间直接高速数据传输,满足了企业对更高性能和可靠性的需求。SAN的架构更适合高端应用领域。

第二个阶段是大集中到存储整合、虚拟化统一的过程。

企业中的各个信息系统建设起来后,一般都是由各个业务部门进行具体管理的。对于一个集团公司来说,企业非整合配置中的数据中心处于不同地点且有各自的存储子系统。这些存储子系统相互独立,并且每个地点只能访问自己的存储子系统。每个地点都需要熟练的员工来进行存储管理,在数据中心的每一处还需要进行机器维护,这些都增加了企业存储的总体拥有花费。那么,为了统一管理,在企业持续发展的中期阶段,需要将分散的数据资源、IT存储资源进行大集中,形成规模化的数据中心基础设施。但是由于前期存储设备采购不规范,大集中面临不同存储设备的兼容和异构统一问题,于是存储虚拟化技术应运而生。

存储虚拟化屏蔽了不同物理设备的异构性,通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。它是一种贯穿于整个IT环境、用于简化相对复杂的底层基础架构的技术,其核心技术思想就是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的虚拟资源管理视图。

结合两大知名厂商的存储虚拟化解决方案,我们分析一下存储虚拟化的架构图。

IBM的SVC技术

EMC的VPLEX技术

不管是SVC还是VPLEX,这种存储虚拟化的架构都有以下三个特点:

1、SAN网络环境下增加一层虚拟化引擎,对服务器的操作系统和后端存储子系统透明。通过虚拟化引擎将多个后端不同厂商、不同型号的存储设备上磁盘系统的容量整合为一个单一的“存储资源池”,并通过虚拟化引擎控制台做存储资源的简化管理。同时虚拟化引擎也可以有多个 Cluster 节点组成,来保证自身的高可用性。

2、通过增加控制节点来方便水平扩充(scale-out)。不管是SVC还是VPLEX,通过扩展控制器节点个数可以增加性能,而往存储池中增加磁盘则可以增加容量,这两方面的扩张都可以在线完成,不需要中止应用。

3、以磁盘阵列架构进行存储架构的纵向扩展。虚拟化引擎后端的中高端存储设备均可以在纵向上继续扩展。

第三个阶段是云存储发展阶段

伴随着云计算的大数据时代的到来,将存储作为云的服务提供,不论是企业私有云还是公有云的存储,都着重于大量存储数据的创建和分布,并将服务作为IT的核心,从而提升业务的敏捷性,进一步降低成本。

在技术上,分布式文件系统、分布式对象存储等技术,为云存储的各种应用提供了高度可伸缩、可扩展和极大的弹性支撑和强大的数据访问性能,并且因为这些分布式技术对标准化硬件的支持,使得大规模云存储得以低成本的建设和运维。

云存储架构是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在构建时重点考虑的三点:扩容简便、性能易于增长、管理简易。

IBM的XIV被业内称为革命性的新一代存储架构,它是采用了大规模并行的分布式网格存储技术,采用的网格存储架构的好处就是横向扩展(Scale-out)。传统存储架构的向上扩展(Scale-up)容易遭遇前端控制器的性能瓶颈,也就是说容量增长到一定程度,性能的增长不会相应增长,而是会遇到一个瓶颈,这是公认的事实。XIV网格存储的横向扩展(Scale-out)具有自优化的特性,不依赖任何主控制器,而是全部采用处理能力和存储能力紧耦合的网格单元,所以整个系统的扩展是性能和容量同步线性增长,在增加到一定程度以后,再使用第二个机架,乃至第三、第四个……理论上是可以继续线性扩展下去的,这就是云存储必须达到的性能扩展性和容量扩展性必须兼顾的标准IBM XIV也是屹今为止世界上唯一一款网格架构的存储器。

我们可以参考一下它的架构:

总结:从存储资源的分散到集中,从虚拟化到存储的整合再到云存储,经过这样一个演进过程,存储的架构正走向简约和集中,IT运营模式也随之逐步发生了改变,作为信息载体的存储系统正在日渐成为整个企业IT架构的核心,它的性能、可用性、可靠性、可管理性会直接对企业的业务连续性和稳定运行造成重要的影响。在进行IT系统的长远规划时,目前已经有越来越多的用户会把存储系统作为规划的起点和重点,其他相关设施均基于存储系统向外辐射,以实现IT与业务的真正融合。

大道唯简----存储架构演变之剖析,布布扣,bubuko.com

时间: 2024-08-14 21:57:20

大道唯简----存储架构演变之剖析的相关文章

Web集群实现共享存储的架构演变及MogileFS

本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现: =================================================================== 1 共享存储的架构演变 2 分布式存储系统 2.1 基础知识 2.2 分类 2.3 CAP理论 2.4 协议 3 MogileFS 3.1 特性 3.2 架构 3.3 组成 3.4 服务安装及启动 3.5 配置部署 3.6 配置前端代理N

微信架构演变

从无到有 2011.1.21 微信正式发布.这一天距离微信项目启动日约为2个月.就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么? 我想应该是以下三件事: 1. 确定了微信的消息模型 微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息.微信团队源于广硏团队,消息模型跟邮箱的邮件模型也很有渊源,都是存储转发. 图 1 微信消息模型 图1展示了这一消息模型,消息被发出后,会先在后台临时存储:为使接收者能更快接收到消息,会推送消息通知给接收者:最后客户端主动

[转]大型网站架构的优化与架构演变(整理)

=============大型网站架构的优化===================== 一个小型的网站,比如个人 网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构.性能的要求都很简 单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬 件到软件.编程语言.数据库.WebServer.防火墙等各个领域都有了很高的要求,已经不是原来简

读《大道至简》-第一章之感想

上了一节JAVA课.课上,老师是从<大道至简>开始讲课的,虽然我之前没看过,但是大概知道了主要内容.但是,具体的问题我还真心的回答不上来.比如,愚公移山的分析,编程的根本.靠着自己的这一遍阅读和听着老师讲解才能理解了第一章.    我觉得愚公移山的故事,虽然可以告诉我们编程的过程和本质.但是总是觉得,人家分析的虽不能太过牵强,但是的确是套用的.其实,我们生活的每一件事都可以反映编程,也不一定要特别刻板的去找愚公移山的故事.生活中的每一件事都可以分为两个步骤,这两个步骤其实就是编程里的认识需求以

大型网站架构演变

1.简介 大型网站架构的演进最开始都是由小及大慢慢演变过来的,任何一个好的架构都不是设计出来了,是经过业务发展迭代而来的,这个观点我是赞同的.对于网站架构技术非常有兴趣,一直持续关注学习架构技术,本次想通过大型网站技术发展历程,剖析大型网站技术架构模式,深入分析大型互联网架构设计.这篇文章我们只关注架构的演变历程.通过电商业务为例,该系统的功能有用户模块[用户注册和管理].商品模块[商品展示和管理].交易模块[创建交易和管理].通过图例分析一个最初从单台LAMP怎么发展到庞大的分布架构体系. 线

大型网站应用中MySQL的架构演变史

没有什么东西是一成不变的,包含我们的理想和生活!MySQL作为一个免费的开源的关系型数据库,深受大家喜爱,从最初的无人问津到当下的去IOE,都体现出了MySQL举足轻重的作用.今天我们就从淘宝的发展来阐述MySQL在大型网站下的架构演变史! MySQL的可扩展性 架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,常用的扩展手段有以下两种 Scale-up : 纵向扩展,通过替换为更好的机器和资源来实现伸缩,提升服务能力Scale-

大道至简七八章阅读

还是走到了最后,总是到得终结时,方能感到时光过得是那么的令人难以觉察.大道至简这本书真的不厚,称得上简之一字,但是却蕴含了很多的思想和知识,只能自己去领会,精义指向的就是总纲,展现出来的是作者作为一个编程者的思想历程,也是作为一个向导在一点一点地引领着我们这些小菜鸟们,让我们能在以后的生涯中少走一些弯路.我想这也应该是作者的初衷吧,作者不只是在陈述自己的观点而已,他在交给我们怎么去做一个所谓的软件工程,这总是看起来似乎有那么一点遥远,实则不然. 第七章讲述的是现实中的软件工程,既然提到了现实,那

读《大道至简》第六章有感

读<大道至简>第六章,映入眼帘的是:语言是一种工具.在人们的认识中,语言是一种工具.的确,语言是工具,它是思维的工具,是交际的工具,是文化传承的工具,语言的工具性价值已得到人们的广泛认可与普遍使用.但从语言的使用过程.使用范围.使频率以及语言的特质等诸方面进行考察,可以发现,它具有不同于一般工具的许多特点. 从语言的使用过程看.一般的工具是与主体分离的,工具只有在作用的过程中,才与主体在一起,当完成某一特定过程后,主体便与工具分开.如飞机,只有在飞行时,人才与飞机是一体的,一旦飞机将人送到目的

读《大道至简》第五章有感

读<大道至简>有感之失败的过程也是过程及RUP模型 “一个人命中最大的幸运,莫过于在他的人生途中,即在他年富力强的时候发现了自己生活的使命”. <人类群星闪耀>------斯蒂芬茨威格 谈起失败,有人说:“效伯高不得,犹为谨敕之士,所谓刻鹄不成尚类鹜者也.效季良不得,陷为天下轻薄子,所谓画虎不成反类狗者也.”,也有人说:“画不成的老虎,真像狗:刻不成的鸿鹄,真像鹜吗?不然,不然.成功了便是虎同鹄,失败时便都是怪物.”学习模仿无过,但是学错了方法,仿错了道路就贻笑大方了. 软件开发的