成长型公司如何构建存储架构

随着大数据时代的到来,合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一。经常有人问我,如何为成长型公司的大型系统部署存储架构,尤其是当这些大型系统承载视频、音频、或社交类网站时,该如何构建存储架构?以下介绍一些我们常选择的方法及各自的优点。

构建存储架构时,要考虑许多问题,最明显的如存储容量、访问速度、缓存选择方案、服务器共享方式、访问协议及访问方法、安全及备份等等。

首先,我们认为最好的存放地址是存放在云中,这些服务存放在云中会很安全,如Amazon S3,阿里云OSS,或 Qiniu’s 的动态系统。但是,若你是自己想存储数据的话,你可以选择不同类型的存储容量。

DAS - 直接附加存储,也称为本地硬盘存储,是一种最普遍、速度最快也是最为经济的存储解决方案。现在已经有4TB的硬盘,再加上标准机箱可以有6-8个这样的硬盘,所以,若服务器是RAID5 配置的话,很容易就能达到20TB 以上。同时使用多个服务器的话,也很容易就能达到100TB,但是管理起来并不容易。所以,DAS是本地数据库存储、NFS共享存储及其它简单系统最好的存储选择方案。要想找一个比较简单的存储方案,这不失为一项最佳选择。

NAS – 网络附加存储也比较盛行,由两部分组成。最常见的情况就是 简单的服务器之间的NFS 共享,这种存储方式采用上文所述的大型TB硬盘,能存储简单的共享图片甚至视频,也能够达到十几TB 的存储量。

NAS 的第二种解决方案,则是商业解决组件,如NetAppFiler, 其存储容量可达几百TB,是一个强大的NFS解决方案,这些通常运用于大型系统,但是缺点是,当系统扩展受成本限制时,对此类存储进行扩展会花费很大的成本。

SAN - 存储区域网络,常被认为是NAS的“大哥”。但是,由于其成本太大且难以管理,所以,互联网行业通常不选择此解决方案。此外,该种存储不能够很好的响应互联网公司的共享需求,因为这种方案只连接几台高IO要求服务器如Oracle数据库联系在一起。

群集存储 - 在不用NFS 的情况下,这种方式越来越多的被用于解决共享问题。这种存储方案最好的优势在于,由于是群集存储,所以可以允许存储冗余存在,而这在DAS 或NAS系统中是很难实现的。常用的群集存储方式包括RedHat公司拥有的GlusterFS, 以及MogileFS。

这些系统通常管理起来很复杂,而且也有很多限制,如文件存放,空间管理及访问方法。例如,GlusterFS 就是由客户端进行管理,且以FUSE挂载,而MogileFS则根本无法挂载,因为它采用的是库驱动API,由PHP进行访问的等等。

群集存储容量可以扩大,甚至扩展到100TB,通常用于中等大小的图片或视频系统,前提是已经知道了它的限制和复杂性。

分布式存储 – 是群集系统的一个远房“表亲”,完全分布式的系统和Google File System比较接近, 在这个系统中,所有的文件、分布、复制、空间等都自动由系统进行管理。客户通常通过内核驱动程序安装该系统,整个分布式系统就像是SAN或NAS一样工作。

这些通常都是功能强大的商业化系统,如北京的Loongstore(龙存科技)。它们通常至少需要几个服务器才能开展工作,因为他们通常需要一个或更多的集群,并且其他服务器作为管理服务器来运行,除多个集群之外,多个存储节点也可以。但是,他们可以扩展到1PB甚至更大,是大型系统扩展的理想选择,并具有很高的冗余特性及极高的性能。

Flickr 或 Evernote 的API存储 – 可达500TB 甚至1PB, 对于某些特定存储需求,如图片存储,甚至可能用到几个基于文件的API系统,尽管大多数情况下是用于用户目录的增长。Flickr和Evernote 都发布了各自的系统架构,基本上都是基于HTTP文件存储的分布式集中管理系统。

在这些系统中,客户端调用目录寻找文件,然后获得一个URL反馈,指向在服务器或群集服务器上的需要进行读/写的文件。然后,客户端再发一个HTTP请求来读取这个文件,这个请求由单个服务器或一个小的群集服务器(使用复制或冗余RAID)进行处理,从本质上来说,这是一个共享存储系统,可以无限制扩展。但是,同其它共享存储系统一样,都面临着文件移动,管理难等挑战。

Amazon S3 使用的就是类似于这样的一个系统,使用基于HTTP的存储及你的内部目录了解你的文件存储地址。

Facebook - 最优秀的扩展案例就是Facebook系统, 该系统设计用于存放几十亿的文件,每秒处理几百万的请求。 该系统有点像 NFS/GFS 系统,在硬盘格式、有线网络格式上都采用了最佳的选择方案,在网络和硬盘上采取最短的文件传输路径。你不会想在不久的将来构建一个这样的系统,但是,花时间去研究一下,你会发现很有趣。

您会发现,成长型公司可选择多种不同的存储方式。但是,只有前几种存储方案对于成长型公司是比较实际的,DAS, NAS及群集存储。每种存储方案有其各自的优缺点。云络科技很高兴与您一起选择、构建并运行最适合您的解决方案。

转自:http://www.ctocio.com/points/12705.html

时间: 2024-11-29 11:07:18

成长型公司如何构建存储架构的相关文章

如何成为一家真正发挥大数据作用的 “数据驱动型公司”?

在本章节中,我想试着描述.分享一下大数据在公司商业运营情境当中所扮演的角色. 大数据的能力是从何处而来? 首先,我想先花一点时间来谈谈有关数据的价值,数据所发挥的作用,它是从何处而来的. 我认为「企业专家中心「(Centre Of Excellence) 这个部门非常之重要,它作为最前沿的公司职能部门,负责将数据的角色引入到公司,并将其功能放大化.它的主要职能就是对跨部门的工作进行协调,具体包括了下面这几项内容: 1. 对企业的技术架构进行维护和升级 2. 决定应该收集什么样的数据,从哪个部门来

大道唯简----存储架构演变之剖析

随着云计算和大数据的发展,传统的基于主机的存储架构已逐渐向网络化.虚拟化.海量云存储发展,从分散走向集中,存储的性能.效率和扩展性.灵活性被企业普遍关注.从更高层次看,存储不仅需要提供数据的管理.数据复制.快照.镜像.迁移等例行性事物,更要能处理数据的灾难恢复.数据一致性.虚拟化融合.弹性计算与资源扩展等工作,这些都依赖于良好的存储架构来满足. 结合企业的IT建设,我们可以把存储架构的演变归纳为三个阶段. 第一个阶段是存储基本架构的演进过程. 在企业建立初期,用户的数据规模并不大,存储需求也相对

SFS Store 一种简单应用存储架构

SFS Store 一种简单应用存储架构html{-ms-text-size-adjust:100%;-webkit-text-size-adjust:100%;line-height:1.6}body{-webkit-touch-callout:none;font-family:-apple-system-font,"Helvetica Neue","PingFang SC","Hiragino Sans GB","Microsoft

2014年,什么工作最吃香?数据存储架构师!

大会介绍: 无论是Oracle还是MySQL数据库,还是百度.腾讯.阿里巴巴,现在都需要闪存(如SSD固态盘)来优化数据存储架构,1.2年内你的企业也必然走上这条路,现在不在数据存储架构领域多多学习,未来因为"太软"被淘汰的就会是你! 百度的林仕鼎.欧阳剑,阿里巴巴的武鹏.余峰,新浪的肖鹏.杨尚刚,网易的姜承尧,云和恩墨的盖国强,这些如雷贯耳的名字,现在都是闪存(存储)技术的支持者,和他们一起,成为大数据时代最吃香的数据存储架构师吧,就在2014中国闪存论坛! 百度基础架构部高级架构师

存储技术基础—存储架构和RAID

1.服务器与存储系统 服务器:提供计算能力.为网络请求提供服务. 存储系统:存储设备+存储管理系统+RAID磁盘系统.接受I/O请求. 存储架构:                 DAS (Direct Attach STorage)存储设备直接和服务器连接                 NAS  (Network Attached Storage) 网络附加存储,采用网络技术,通过交换机连接存储系统.                 SAN  (Storage Area Network)存储

企业存储架构选Scale-up还是Scale-out?

过去20年的数据交付中,在企业环境中集中使用的是统一存储基础架构.这些架构采用了大规模的SAN和NAS产品,具有较高的弹性和可用性,能够扩展到TB级,甚至能够扩展到更高的PB级存储. 毫无疑问的是如今这些规模化的存储市场表现仍然强劲,但是令人欣喜的是我们开始看到向外扩展的产品,其存储基础架构通过扩展节点来满足用户更大的存储需求. 存储向上扩展的方式已经存在多年,他能够提供便利的增强性能的方式,并且避免了不同的服务器和存储连接在一起的物理屏障. 然而,随着大数据时代的来临,人们对可扩展性的需求越来

后期制作公司选择中央存储还是分布式存储

看懂分布式存储与传统NAS.SAN优劣势传统SAN存储设备一般采用双控制器架构,两者互为备份,配置两台交换机与前端的服务器进行连接,这种双控制器架构方式会有以下两个方面的缺点:1. 网络带宽容易变成整个存储性能的瓶颈:2. 如果一个控制器损坏,系统的性能将大幅下降,影响存储的正常使用.传统存储架构的局限性主要体现在以下几个方面:1.横向扩展性较差受限于前端控制器的对外服务能力,纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力.同时,前端控制器横向扩展能力非常有限,业界最多仅能实现几个控制器

成长型思维

若不是偶尔间看到这本书,不会去想自己的思维习惯到底存在什么样的问题.那些在我们脑海中的思维模式可能是有问题的.而这本书就提了一些成长型思维.拆分一下理解,就是可以使我们成长的思维有哪些? 书中一共给了 7 种思维,并一一给出解释,每种思维具体指的是什么.什么阻碍了我们拥有这种思维.如何才能有这种思维.不可谓不全面,但是这里我就不说那么多了. 志存高远,敢于梦想   我们只愿生活在安全的舒适区,而不愿学习和成长:只专注于现有的工作,而不是为下一个可能扮演的角色做准备:宁愿在低追求的环境中工作,也不

2019年IT关注的重点:大数据分析的存储架构

存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析.人工智能和物联网.并指出,改进大数据分析.人工智能.机器学习.物联网的存储架构将成为2019年关注的重点领域. 行业媒体对2019年企业数据存储预测的存储技术专家和分析师小组进行了调查,许多人表示,企业IT组织将专注于更好的方法来分析.使用和管理数据湖中的所有信息.他们的努力将包括在越来越多的旨在集成.设计和编排数据的工具的帮助下调整大数据的存储架构. 这些存储技术专家和分析师对2019年预测的样