后期制作公司选择中央存储还是分布式存储

看懂分布式存储与传统NAS、SAN优劣势
传统SAN存储设备一般采用双控制器架构,两者互为备份,配置两台交换机与前端的服务器进行连接,这种双控制器架构方式会有以下两个方面的缺点:
1. 网络带宽容易变成整个存储性能的瓶颈;
2. 如果一个控制器损坏,系统的性能将大幅下降,影响存储的正常使用。
传统存储架构的局限性主要体现在以下几个方面:
1、横向扩展性较差
受限于前端控制器的对外服务能力,纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时,前端控制器横向扩展能力非常有限,业界最多仅能实现几个控制器的横向。因此,前端控制器成为整个存储性能的瓶颈。
2、不同厂家传统存储之间的差异性带来的管理问题
不同厂商设备的管理和使用方式各有不同,由于软硬件紧耦合、管理接口不统一等限制因素无法做到资源的统一管理和弹性调度,也会带来存储利用率较低的现象。因此,不同存储的存在影响了存储使用的便利性和利用率。
分布式存储往往采用分布式的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件引入的不稳定因素降到最低。优点如下:
1. 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中,来提高系统响应速度;一旦这些区域不再是热点,那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能,按照一定的策略,先将数据写入高速存储,再在适当的时间进行同步落盘。
2. 支持分级存储
由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下,分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后,从冷池提取数据的粒度太大,导致延迟高,从而给造成整体的性能的抖动的问题。
3. 多副本的一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制。在存储数据之前,分布式存储对数据进行了分片,分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性,分布式存储通常采用的是一个副本写入,多个副本读取的强一致性技术,使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候,系统可以通过从其他副本读取数据,重新写入该副本进行恢复,从而保证副本的总数固定;当数据长时间处于不一致状态时,系统会自动数据重建恢复,同时租户可设定数据恢复的带宽规则,最小化对业务的影响。
4. 容灾与备份
在分布式存储的容灾中,一个重要的手段就是多时间点快照技术,使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是,多时间点快照技术支持同时提取多个时间点样本同时恢复,这对于很多逻辑错误的灾难定位十分有用,如果用户有多台服务器或虚拟机可以用作系统恢复,通过比照和分析,可以快速找到哪个时间点才是需要回复的时间点,降低了故障定位的难度,缩短了定位时间。这个功能还非常有利于进行故障重现,从而进行分析和研究,避免灾难在未来再次发生。多副本技术,数据条带化放置,多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。
5. 弹性扩展
得益于合理的分布式架构,分布式存储可预估并且弹性扩展计算、存储容量和性能。分布式存储的水平扩展有以下几个特性:
1) 节点扩展后,旧数据会自动迁移到新节点,实现负载均衡,避免单点过热的情况出现;
2) 水平扩展只需要将新节点和原有集群连接到同一网络,整个过程不会对业务造成影响;
3) 当节点被添加到集群,集群系统的整体容量和性能也随之线性扩展,此后新节点的资源就会被管理平台接管,被用于分配或者回收。
6. 存储系统标准化
随着分布式存储的发展,存储行业的标准化进程也不断推进,分布式存储优先采用行业标准接口(SMI-S或OpenStack Cinder)进行存储接入。在平台层面,通过将异构存储资源进行抽象化,将传统的存储设备级的操作封装成面向存储资源的操作,从而简化异构存储基础架构的操作,以实现存储资源的集中管理,并能够自动执行创建、变更、回收等整个存储生命周期流程。基于异构存储整合的功能,用户可以实现跨不同品牌、介质地实现容灾,如用中低端阵列为高端阵列容灾,用不同磁盘阵列为闪存阵列容灾等等,从侧面降低了存储采购和管理成本。
分布式存储与传统的SAN、NAS相比,优势如下:
1、性能: 在分布式存储达到一定规模是,性能会超过传统的SAN、NAS。大量磁盘和节点,结合适当的数据分布策略,可以达到非常高的聚合带宽。传统的SAN、NAS都会有性能瓶颈,一旦达到最大扩展能力,性能不会改变甚至降低。
2、价格: 传统的SAN、NAS,价格比较高。特别是SAN网络设备,光纤网络成本比较高。而且,以后扩展还需要增加扩展柜。成本太高。分布式存储只需要IP网络,几台X86服务器加内置硬盘就可以组建起来,初期成本比较低。扩展也非常方便,加服务器就行。
3、可持续性: 传统的SAN、NAS扩展能力受限,一个机头最多可以带几百个磁盘。如果想要个PB以上的共享存储,分布式存储只最好的选择。不用担心扩展能力问题。
缺点:
1、需要比较强的技术能力和运维能力,甚至有开发能力的用户。传统存储开箱即用,硬件由厂家提供,也有完善的文档和服务。而分布式很多是开源或者是有公司基于开源系统提供支持服务,版本迭代比较快,出问题后有可能需要自己解决。
2、数据一致性问题。对于ORACLE RAC这一类对数据一致性要求比较高的应用场景,分布式存储的性能可能就稍弱了,因为分布式的结构,数据同步是一个大问题,虽然现在技术一致在进步,但是也不如传统存储设备数据存储方式可靠。
3、稳定性问题,分布式存储非常依赖网络环境和带宽,如果网络发生抖动或者故障,都可能会影响分布式存储系统运行。例如,一旦发生IP冲突,那么整体分布式存储可能都无法访问。传统存储一般使用专用SAN或IP网络,稳定性方面,更可靠一些。
超融合架构迅速发展的原因是其具有显著的优势,能够带来极高 的客户价值。超融合架构实现了计算、存储、网络等资源的统一管理 和调度,具有更弹性的横向扩展能力,可以为数据中心带来最优的效 率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化 平台,替代了传统的服务器加集中式存储的架构,使得整个架构更清 晰简单,极大简化了复杂 IT 系统的设计。
从用户的角度考虑,选择超融合架构的理由,往往在以下几个方面:
(1)性能
业务规模、数据可用性、业务连续性、性能等方面的需求快速增 长,传统的 IT 架构无法满足或者代价过高。超融合架构可以轻松达 到数十万 IOPS。若采用全闪存超融合,性能远超普通的 SAN 阵列。
(2)成本
传统 IT 架构在提供同样性能的前提下成本过高,成本并不是超 融合的最大优势,但比传统方案还是能节省投资。
(3)利旧
利旧原本不是超融合该做的事,但却是真实存在的需求。超融合 支持通用标准 x86 服务器硬件,因此支持在现有服务器上部署,从而 保护投资。
具体问题请加18611776962微信聊。

原文地址:http://blog.51cto.com/14201249/2350454

时间: 2024-10-29 22:19:52

后期制作公司选择中央存储还是分布式存储的相关文章

后期中央存储

真人秀后期老板必须要知道的事李莉波(18611776962) 一档综艺好不好看,后期团队起着至关重要的作用.后期可谓无所不能,可以把乏味的综艺剪得好看,剪辑在真人秀后期制作中为重中之重,后期制作人数不断增加,剪辑过程中需要对大量的视频文件进行处理,特别是随着4K,8k的兴起,真人秀素材体量全面升级,不夸张地说,2018年比2017年素材量大了有20多倍,棚内拍摄,光真人秀机位就达到了50个,原来独立的,小容量的存储设备已不能满足大量数据处理对存储设备的高要求,需要共享,大容量的中央存储去解决更多

PMC 荣膺ChannelPro读者选择最佳存储控制器金奖

 PMC荣膺ChannelPro读者选择最佳存储控制器金奖 Adaptec RAID控制器脱颖而出夺取桂冠 引领大数据连接.传送以及存储,提供创新半导体及软件解决方案的PMC?公司(纳斯达克代码:PMCS)今日宣布,获得ChannelPro-SMB 2015年度读者选择最佳SAS/SATA RAID控制器金奖. PMC负责渠道和数据中心市场营销总监Toy Winslow谈到:"获得该奖项充分证实了我们的Adaptec产品在渠道市场上展现的卓越性能,兼容性和可扩展性.获得客户和合作伙伴对我们P

选择云存储的时候需要考虑哪些事项?

云计算行业经过这几年的发展已经越来越成熟,也越来越受到广大用户的欢迎,对象存储服务成为很多云服务器公司的一项基础业务,市面上也有很多云服务提供商,比如阿里云.腾讯云.百度云等等.那么个人选择云存储应该怎样选择呢? 下面我们就来看看个人在选择云存储的时候需要考虑哪些事项,然后再根据相关事项来选择合适的云存储商家. 1.可靠性是否有保障 数据是企业最宝贵的财富之一,因此对于企业而言,在选择存储的服务商时,可靠性无疑是首要的考虑因素. 2.安全性如何 除了数据的可靠性之外,安全性也是用户在选择服务时另

程序员生存定律-公司选择上的方法论

程序员生存定律这系列的目录在这里:程序员生存定律--目录 喜欢从头瞄的,可以移步. ------------------------------------------------------------------------------- 开篇前再补一句,这没考虑创业的情形,只是说最一般的情况. 在弄清楚公司的分类方法,以及某些类别公司的长处和短处后,就可以开始考虑如何去选择公司. 经常会看到这样一些问题,比如:是去大公司好呢,还是去小公司好呢?是去用ASP.net做ERP的公司好呢,还是去

SfB迁移CMS中央存储数据库镜像配置

(1)Lync Server 2010迁移中央存储至Lync Server 2013; (2)Lync Server 2013迁移中央存储至Lync Server 2013; (3)Skype for Business Standard Edition迁移中央存储至Skype for Business Enterprise Edition; 迁移部署: 1.备份 Export-CsConfiguration –FileName config.zip Export-CsLisConfigurati

土耳其电影公司选择Infortrend建立PB级数据存储基础设施

总部位于伊斯坦布尔的电影制作公司Erler Film选择Infortrend的EonStor GSe 3000搭建PB级NAS系统,用于应对UHD(超高清)视频格式(例如8k流媒体甚至更高分辨率)所带来的严重挑战,例如:硬盘数量激增.大数据管理等. Erler Film拥有土耳其最大的媒体素材库之一,在过去的58年里,使用35毫米胶片.模拟/数字磁带制作了大量的电影.电视节目,以及连续剧.同许多影视制作公司一样,Erler Film现有的IT基础设施已经无法承担当前产生的数据量.为了解决这个难题

成长型公司如何构建存储架构

随着大数据时代的到来,合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一.经常有人问我,如何为成长型公司的大型系统部署存储架构,尤其是当这些大型系统承载视频.音频.或社交类网站时,该如何构建存储架构?以下介绍一些我们常选择的方法及各自的优点. 构建存储架构时,要考虑许多问题,最明显的如存储容量.访问速度.缓存选择方案.服务器共享方式.访问协议及访问方法.安全及备份等等. 首先,我们认为最好的存放地址是存放在云中,这些服务存放在云中会很安全,如Amazon S3,阿里云OSS

如何选择mysql存储引擎

一.MySQL的存储引擎 完整的引擎说明还是看官方文档:http://dev.mysql.com/doc/refman/5.6/en/storage-engines.html 这里介绍一些主要的引擎 1.InnoDB存储引擎 InnoDB是MySQL的默认事务型引擎,它被设计用来处理大量的短期(short-lived)事务.除非有非常特别的原因需要使用其他的存储引擎,否则应该优先考虑InnoDB引擎. 建议使用MySQL5.5及以后的版本,因为这个版本及以后的版本的InnoDB引擎性能更好. M

.Net简单图片系统-本地存储和分布式存储

本地存储 所谓本地存储就是将上传图片保存到图片服务器的本地磁盘上. if (ConfigHelper.GetConfigString("SaveMode") == "Local") // 表示存储的是本地模式 { var hostname = request.QueryString["host"] ?? ""; if (hostname.StartsWith("www.")) { hostname = ho