杉岩海量对象存储(SandStone MOS)V5.4版本发布,新增/优化多项功能

作为一家专注于产品自主研发的企业级存储厂商,杉岩数据始终坚持以客户需求为导向,持续完善存储产品及解决方案,通过版本迭代不断丰富产品特性,不断提升产品竞争力。杉岩海量对象存储(SandStone MOS)是面向企业级海量非结构化数据的分布式对象存储产品,经过长时间的产品打磨,SandStone MOS的功能特性越来越完善,与应用场景的融合越来越深入,并在应用实践中持续赢得客户的信赖。

为了进一步满足能源、金融、医疗等行业客户的需求,SandStone MOS的新版本针对客户关注的问题进一步完善了功能特性,并已于近期正式发布,本文即对该版本的价值特性进行专题解读。

  1. 生命周期管理进一步增强

标签精确控制的对象级生命周期管理

数据的生命周期管理是体现存储智能化的重要特性之一,用户根据不同业务系统的数据特点,通过SandStone MOS实现数据的存储、迁移、归档、删除等管理操作。在某客户的应用场景中,业务应用将多种业务的日志文件存储到同一个桶内,后期按照规定对过期的日志文件进行删除或者归档。但是,由于不同业务的日志文件过期时间不一样,需要区分桶内不同日志文件的过期时间,以便定期自动删除或者归档。而SandStone MOS原有的生命周期对象过滤方式只有两种:一是对整个桶设定时间规则,到期将桶内所有对象删除或者归档;二是按照桶内对象的前缀进行正则匹配来实现删除或者归档,这都无法满足客户需求。为此,SandStone MOS新增了支持基于对象标签过滤生效对象的特性,通过该功能,客户可以将日志文件根据所属业务的不同打上不同的标签存下来,并在桶内根据标签配置相应的过期时间,每个日志文件到期后自动删除或者归档。这样一来,既实现生命周期管理更加精细化,同时提升了存储系统的资源利用率,也减少了运维压力。

冷存储统一管理

客户在进行数据生命周期管理时,需要对归档文件长期(数以十年计)保存,并对存储的安全性、合规性以及成本等方面提出了更严格的要求。按照以往的策略,归档数据保存在机械硬盘或磁带库等存储介质上,但是想要达到数以十年计的长期保存,其成本是非常不可观的。为此,SandStone MOS在新版本中支持将蓝光存储作为冷池纳管,支持将冷数据按照策略归档到蓝光存储,同时支持冷数据被访问时自动回存到磁盘存储,并实现热/温/冷数据的统一名字空间管理。通过该特性,光存储介质的优势充分显现出来,为客户带来了多方面的收益。一是解放热池性能,提高上线存储池性能。二是降低能耗成本,兼顾安全性、效益和成本。三是降低维护成本,光盘存储寿命可达100年,长期存放无需维护。四是满足合规需求,光盘介质是不可更改的存储介质,保证数据写入的真实性。

  1. 功能接口更加丰富

阿里云OSS服务接口

阿里云对象存储服务(Object Storage Service,简称OSS)是阿里云对外提供的海量、安全、低成本和高可靠的云存储服务。为了帮助客户实现历史业务系统的对接和升级,SandStone MOS新增对OSS协议基本接口(包括桶创建、对象上传、对象查询、对象下载及对象删除接口)的支持,杉岩也是业内率先支持阿里云OSS协议的企业级对象存储厂商。

追加写数据实时可读

针对视频监控场景对准实时回放的要求,SandStone MOS新增了追加写接口支持的特性,每次追加操作完成后对象文件立即可读。在旧版本中,监控影像按照普通分片方式上传,存储系统不支持对刚刚上传内容的立即读取,这在实时性上是无法满足客户需求的。通过追加写接口支持,存储系统在每次分片上传后更新一次元数据信息,保证业务可以读取最新上传的分片数据,在业务层面实现了准实时回放,满足客户对于快速响应的要求。

跨桶数据批量拷贝

在管理海量数据时,批量操作往往能够显著提升管理的便捷性。某客户出于安全性考量,在存储系统中专门新建一个桶用来存储各个业务所产生的重要文件,并作为公司财产长期保存。此过程中,在业务流程(比如报销审批)结束之前,这些文件归各业务所有,一旦流程闭环,这些文件将转变为公司财产,由原来的桶空间迁移到新建的桶空间进行归档,这就涉及到了对象的批量删除(旧版本已支持)和批量拷贝功能。为此,SandStone MOS在新版本中又增加了批量拷贝功能,实现两个不同的桶之间对象数据的批量拷贝操作,简化了业务逻辑,提升了业务性能,让管理操作更加便捷。

  1. 共享策略更加完善

精细化授权策略

数据因共享而产生价值,丰富的数据共享策略是充分发挥数据价值的保障。在这方面,SandStone MOS在之前版本中已经实现了单个桶空间内的所有对象共享、根据对象前缀匹配来过滤生效对象等特性,在使用过程中也得到了客户的积极反响。但是,当多种业务的数据汇聚到相同的桶空间,同时又需要通过权限控制管理各个业务的视图时,现有的共享策略无法满足需求。为此,SandStone MOS在新版本中做了优化,新增支持按照对象标签过滤生效对象并共享,即基于对象标签精确控制授权对象。用户在配置桶共享控制策略时,可以将标签作为过滤条件,控制拥有某类标签的对象文件被某些用户访问或者拒绝某些用户的访问。这样一来,用户能够根据需要在存入对象时打上不同的标签,后续再根据标签内容将对象筛选出来并执行统一的共享策略,让共享方式更加精细化,让共享策略更加全面。

FTP多用户权限管理

对海量数据的存储、共享和利用,往往涉及多种业务应用,需要丰富的接口类型提供支撑。SandStone MOS在旧版本中基于S3接口封装支持FTP接口,可以实现数据调用,但不支持多用户间的共享及授权管理。当客户提出此类需求后,我们在新版本中补齐了这一特性,实现多个FTP用户之间的内容共享和授权管理。这样一来,多个业务应用可以对应多个FTP账户,不同FTP账户之间通过共享权限进而对数据的可见范围进行设置,使得接口服务模块更加完善,数据共享的方式更多元,也更好的满足多样化场景对接需求。

  1. 管理运维更加简单

多站点同步QoS控制

对于大型企业而言,其IT系统架构往往由多个跨地域的数据中心构成,要想实现跨地域、多站点的统一便捷管理,多站点同步功能承担着重要角色。大部分客户的多站点同步需要与其他业务一起共享企业公共的网络带宽,为了避免存储多站点同步任务挤占过多带宽导致业务性能不稳定,多站点同步QoS控制功能成为站点同步的一个基本功能需求。为了满足业务需求、保证服务质量,SandStone MOS在新版本中新增了站点同步支持配置同步时间段及同步流量控制,用户可以根据业务应用的运行情况,对多个站点的同步时间段和流量大小进行同步控制。这样一来,一是简化了跨地域、多站点架构的同步配置操作;二是保证了业务性能,而且业务闲时可以充分利用空闲带宽加速数据同步;三是更快地响应大规模业务调整,提高了效率。

微信告警通知

随着越来越多的应用逐渐互联网化,高度的敏捷性和易用性也是产品迭代的重要方向之一。为了方便用户能够“随时随地随手”了解存储资源的运行情况,SandStone MOS在新版本中还增加了微信告警功能,运维人员通过界面设置,可以将存储系统的告警信息批量推送到选定的微信群组,让群组内管理人员和运维人员能够及时掌握设备运行状态。相比邮件告警而言,微信告警显然更加实时,也更加人性化。

5.其他

智能图片处理

在SandStone MOS存储的海量非结构数据中,有很多是图片文件。在实际的使用过程中,业务系统经常需要对图片进行格式处理等操作,这些操作以往都是在业务系统中完成,让业务系统开发变的复杂,而且消耗了原本就比较紧张的业务主机CPU资源。为此,SandStone MOS在新版本中集成了智能图片处理功能,业务系统通过调用S3接口传递相关参数即可完成常用图片格式处理功能(包括图片转码、图片压缩、缩略图、打水印等)。这样一来,图片的存储和处理全部由存储系统完成,充分利用存储服务器的处理能力,业务系统的开发也得到简化,提升了处理效率,也节省了紧张的业务主机CPU资源。

Elastic Search账号认证

在数据的获取、存储、检索、共享等过程中,存储系统的安全性一直都是客户十分关注的内容。某客户部署SandStone MOS并运行一段时间后,出于业务安全需要,其生产环境的Elastic Search集群准备增加权限认证功能,为此,SandStone MOS在新版本中支持对接Elastic Search时使用账号密码认证,提高了系统安全性,使存储与检索软件的内部安全得到了进一步加强,为数据资源的高可靠性增添了新的“钥匙”。

总结

综合前文所述,从数据生命周期管理、功能接口、数据共享策略、管理运维等五个方面对SandStone MOS的新增特性进行了介绍,新特性满足了客户在产品使用过程中提出的新需求,解决了应用实践过程中涌现的新的痛点,帮助应对海量数据存储管理过程中面临的新的挑战。

随着业务数据逐渐向海量化、非结构化的方向发展,业务应用逐渐向复杂化、敏捷化的方向发展,存储系统也必将向着智能化、价值化、易用化的方向发展。杉岩也将一直坚守以客户需求为导向这一根本准则,持续推动产品更新与迭代,为客户提供更好的存储产品、解决方案及服务。

原文地址:https://blog.51cto.com/14636092/2472071

时间: 2024-10-10 02:21:16

杉岩海量对象存储(SandStone MOS)V5.4版本发布,新增/优化多项功能的相关文章

海量非结构化数据存储难题 ,杉岩数据对象存储完美解决

"过去几年,大数据产业更多关注的是如何处理海量.多源和异构的数据,但我们必须承认这些只是冰山一角.目前,结构化数据仅占到全部数据量的20%,其余80%都是以文件形式存在的非结构化和半结构化数据.伴随非结构化数据呈现爆发之势,对象存储市场近两年保持强劲增长,IDC预计,软件定义存储(SDS)市场未来五年复合增长率将达到28.8%." 传统IT架构渐成"过去式" 非结构化数据倒逼存储变革 今天,许多企业已经意识到,结构化数据仅仅是企业所拥有数据的一小部分.与业务信息系统

杉岩海量对象存储系统完美替代Documentum

自2006年至今十余年来,金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案,如下图1所示,Documentum结合DB的索引能力和NAS的存储能力,向上为影像平台等业务提供文档数据的存储和检索读取服务. 近年来随着非结构化数据的爆发性增长,由于Documentum系统架构问题,此套解决方案出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布式架构,针对海量文件场景提供可线性扩展的持续快速访问性能,同时提供全方位的海量数据保护支持和数据生命周

杉岩数据对象存储替换IBM FileNet,突破性能瓶颈

近年来随着非结构化数据的爆发性增长,由于IBM FileNet系统架构问题出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布式架构,针对海量文件场景提供可线性扩展的持续快速访问性能,同时提供全方位的海量数据保护支持和数据生命周期管理功能,能够完美替代IBM FileNet. 非结构化数据的爆炸式增长,使有价值的信息散落在各个"孤岛".这些非结构化信息包括办公文档.视频影像与音频.HTML网页.电子邮件.文本.报表等等,这些信息通常被放在企业的数据库.文件系

海量图片存储,杉岩分布式对象存储轻松应对

当今世界,互联网.大数据应用迅猛发展,物联网.人工智能.云计算 技术日新月异,随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件.这些小文件的元数据管理.存储性能以及访问效率等问题因而成为学术界和工业界公认的难题. 例如,国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张,这些文件的平均大小仅为 15KB 左右,国外著名的社交网站Facebook 存储的图片总量更是超过了600亿张:在线视频播放服务中,每个视频会被切片服务器分割成 1MB 左右的分片文件,一部动画电

PIGOSS BSM v5.7版本发布

文章摘自PIGOSS BSM官网  http://www.netistate.com 如需转载,请标明出处! 转眼一个月又过去了,PIGOSS BSM又到了每月月底版本更新的时候了.下面我们来看看这次PIGOSS BSM 又给我们带来了怎样的新体检? 一.产品开发方面: 1.短信告警平台实现对USB口短信猫设备的支持,自动检测.自适应USB口的变动. 2.同步监控资源信息和告警信息的变动:删除相关监控资源时,相关的告警信息会自动同步到已处理告警队列中. 3.针对AIX小机,SNMP协议采集到的c

存储性能差?杉岩数据分布式存储性能优化方案

作为明星产品,杉岩海量对象存储(SandStone MOS)在企业级市场顺势推出后,即受到了广泛的认可和接纳,它在众多企业级用户的场景中具备独特的价值属性,例如:海量小文件的访问性能保障.分支总部间的信息高速分发.数据中心级的双活或多活容灾等等,都让用户在面临PB级甚至EB级规模的非结构化数据存储时,有了一个全新的兼顾成本和服务的选择. SandStone MOS 在接口兼容性.数据安全性.业务高可用.全局便捷运维.数据生命周期管理等场景上进行了全新的补充和完善,接下来将为您详细解读关键功能的价

杉岩数据:对象存储是企业海量非结构化数据存储的最佳选择

海量数据的爆炸式增长,使存储技术近五年的发展速度远超过去n年的发展历程.C端用户一个明显的感觉就是:U盘存储容量从过去物以稀为贵的几十M迅速发展到今天几十G.甚至TB级,家用电脑硬盘容量更是TB级标配. 那么,企业级又迎来了怎样的变化? IDC数据显示,到2020年,企业数据总体将达到44ZB,其中80%的数据将会是非结构化数据(图片.视频.归档以及企业级备份等各种数据).显然,海量数据的产生正在促使企业级存储从需求到产品形态都发生了改变. "相对于NAS.SAN这种传统企业级存储解决方案,对象

4.5PB!杉岩对象存储中标天威视讯“中心存储系统建设”

日前,深圳天威视讯股份有限公司(以下简称天威视讯)公布中心存储系统中标结果,杉岩对象存储中标,项目整体裸容量存储规模达到4.5PB. 天威视讯是我国有线电视网络行业的第一家股份制企业,是深圳文化产业第一股,负责深圳地区有线电视网络的建设.经营和维护,提供有线电视收视服务.电视增值业务以及互联网接入服务等,逐步形成了以传输视频信息和开展网上多功能服务为主.向产业链的上下游***.多业务并举的文化产业发展模式,探索出一条广电事业和文化产业协调发展的新路. 为了给客户提供高端前沿的视频产品和丰富多彩的

杉岩:浅谈对象存储和块存储区别

什么是块存储 数据被存储在固定大小的块内.块内只存储数据本身:Address就是块唯一的识别信息:对于块存储,没有metadata. 当应用和数据都在本地的时候,性能会比较好:当应用和数据在地理位置上分离较远的时候,性能会较差. 适用场景: 块存储适合用于事务型数据库,可用于大部分通用业务场景下的数据存储 什么是对象存储 可以理解是一个海量的存储空间,最适合存储互联网上产生 的图片.短视频.音频等海量非结构化数据,您可以通过 API 在任何时间.任何地点访问对象存储里的数据. 每个对象包括3个部