图片处理能力提升50%,杉岩智能存储是如何做到的?

一提到对象存储,大家多半会联想到“存储海量文件”。但随着近几年大数据、云计算等应用场景的广泛部署,客户对业务的敏捷性要求越来越高,尽可能地精简业务处理流程、提高业务处理效率变得更加重要。面对这些需求变化,身处幕后的存储设备已经不能仅仅局限于“存储”这个基本要求。一些领先的对象存储厂商已经开始思考,如何将原本外置的业务处理能力集成到存储上来,让存储做“更多事情”,结合业务需求来赋能应用,帮助客户实现更大价值。

为了满足部分客户在海量图片处理场景下对业务敏捷性和处理效率的要求,SandStone MOS在V5.4版本中新增图片处理功能,使图片处理的全业务流程均在对象存储内部完成,让流程处理从“繁琐低效”走向“简洁高效”。本文即对该特性进行专题解读。

一、图片处理业务导致海量数据高吞吐

随着各类企业文档、图片和音视频等非结构化文件的数量逐步从千万级快速增长至数亿级别,并呈现持续的指数级爆炸式增长,分布式对象存储已逐步替代传统NAS存储,成为当今企业内非结构化数据存储的标配。非结构化数据(尤其是图片文件),通常与企业的业务流程紧密相关。比如银行的购房贷款审批业务,购房者提交的申请材料通常包含身份证、户口本、个人收入证明及购房合同等各类文件的扫描件,并以图片的形式长期存档。整个审批流程包含了对图片的各种处理需求,比如通过缩略图来提高浏览效率、通过打水印以便于追溯图片来源,以及通过调整图片尺寸来适配不同客户端显示规格等。若要满足客户对图片存储、提取、处理这一系列需求,目前普通的对象存储系统是如何实现的呢?

图1.基于普通对象存储的图片处理业务架构

如图1所示,普通的对象存储系统仅提供图片文件的存储服务,当业务系统需要获取处理后的图片(如缩略图)时,大致需要经历以下4个步骤:

  1. 业务应用向对象存储发送读取原始图片的请求
  2. 业务应用下载原始图片到业务服务器
  3. 业务应用上传原始图片到图片处理系统以请求缩略图
  4. 业务应用获取图片处理系统返回的原始图片的缩略图

显而易见,整个过程中存储系统和图片处理系统要进行频繁交互。当业务实际上线运行后,由于原始图片一般为高分辨率、高清晰度的大文件,上述步骤2和步骤3通常会给业务网络带来巨大的流量压力,占用大量的网络带宽;另外因为流程步骤较多,这也会增加系统响应时间,导致客户访问体验很差。

如上所述,对象存储系统与图片处理系统各自独立,前者只负责“存”,后者只负责“处理”,而且中间的“提取”过程效率低下。对用户而言,这显然不是最佳的解决方案。

杉岩基于多年行业实践,准确地捕捉到了这一长期存在的痛点,并提出了针对性的解决方法。

图2.基于SandStone MOS的图片处理业务架构

如图2所示,SandStone MOS通过在对象存储系统内部集成图片处理功能,省去了图片处理过程中将原始图片在业务网络上来回拷贝的过程。这样做的好处是:既免除了对业务网络的带宽压力、提升了系统响应速度和交互体验;还能够充分发挥存储节点富余的CPU资源的计算能力,确保存储性能的高效利用。

二、集成图片处理能力,提升存储智能化

既然了解了SandStone MOS在图像处理方面的独到之处,那么,它是如何实现的呢?

图3.SandStone MOS图片处理业务架构的实现方式

如图3所示,SandStone MOS存储系统最底层为通用的服务器硬件,OSD负责管理服务器上的每个存储硬盘,对象存储网关负责S3对象存储接口的逻辑封装以及与OSD的数据进行读写交互,负载均衡器负责实现业务读写请求在多个对象存储网关间的负载均衡路由及高可用。

当业务应用经过S3 SDK发送读写请求到负载均衡器时,负载均衡器根据指定的路由算法(如轮询)将请求分配到对应的对象存储网关,对象存储网关再与OSD交互完成数据的读写。

此外,SandStone MOS的对象存储网关模块除了提供S3对象访问协议,还支持常用的图片处理功能,主要包括图片转码、图片压缩、缩略图及图片文字水印,具体规格如下。

  1. 图片转码接口支持将图片转换成JPG、PNG、BMP、WEBP、GIF、TIFF等格式
  2. 图片压缩接口支持 JPEG、PNG 格式。瘦身后画质不变,分辨率不变,格式不变,文件体积大幅缩小
  3. 缩略图接口支持图片格式转换、缩略、剪裁功能。只需要填写几个参数,即可对图片进行缩略操作,生成各种缩略图,接口可支持处理的原图片格式包括:PSD、JPG、PNG、BMP、WEBP、GIF、TIFF
  4. 文字水印接口支持图片类型包括:JPEG、PNG、PSD、GIF、TIFF、BMP

当对象存储系统集成了图片处理功能后,业务应用通过标准的S3访问入口,即可完成图片的存储和处理过程,业务应用只需要在原有的S3读取接口增加相应的图片处理参数,就能获取处理后的图片。

三、媒体处理能力提升50%,帮助客户提升效益

简化业务架构,降低硬件成本

在普通对象存储的业务架构中,因为对象存储自身不支持图片处理功能,图片的存储和处理分别需要访问对象存储服务地址和图片服务地址,这导致业务逻辑需要针对两套系统做复杂的逻辑处理,业务处理的效率低下。通过使用SandStone MOS分布式对象存储系统,业务应用只需要维护一个访问地址和SDK就可以,整体架构得到了极大的简化,有效精简了IT设备,降低硬件成本。

释放网络带宽压力,保障性能稳定

SandStone MOS通过在对象存储系统内部集成图片处理功能,省去了图片处理过程中需要将原始图片在业务网络上来回拷贝的过程,减少了业务网络的带宽压力,避免了由于带宽挤占导致其他业务系统访问卡顿甚至瘫痪的风险,有效保障性能的持续稳定。

极大缩短图片处理请求时间,让业务更敏捷

由于避免了跨业务网络访问,即省去了原始图片在存储系统和图片处理系统间的交互过程,图片在SandStone MOS内部可就近完成处理任务。对比普通对象存储的方案,在相同算力的前提下,SandStone MOS的图片处理整体效率可以提升高达50%以上,极大的保障了业务敏捷性,帮助客户从容应对海量图片场景下的快速处理需求。

充分发挥富余CPU算力,提高硬件利用率

一般在业务压力比较低的场景下,或是出于对存储系统扩展性规划的考虑,服务器硬件的CPU资源利用率通常只有20%-30%左右,SandStone MOS的图片处理业务架构不仅可以减少跨网络的数据拷贝,提升图片处理效率,还能够充分发挥存储节点上富余CPU资源的计算能力,确保多业务场景下有充足的算力保障。

SandStone MOS通过集成图片处理功能,在便捷存储海量文件的同时,让图片处理的全业务流程在对象存储内部完成,避免了传统方案中存储与图片处理系统的频繁交互,不仅能很好地完成“存储”这一基本要求,还能结合场景需求,在存储内部高效完成图片处理过程,帮助用户实现更大价值。

原文地址:https://blog.51cto.com/14636092/2481763

时间: 2024-10-08 04:15:55

图片处理能力提升50%,杉岩智能存储是如何做到的?的相关文章

4.5PB!杉岩对象存储中标天威视讯“中心存储系统建设”

日前,深圳天威视讯股份有限公司(以下简称天威视讯)公布中心存储系统中标结果,杉岩对象存储中标,项目整体裸容量存储规模达到4.5PB. 天威视讯是我国有线电视网络行业的第一家股份制企业,是深圳文化产业第一股,负责深圳地区有线电视网络的建设.经营和维护,提供有线电视收视服务.电视增值业务以及互联网接入服务等,逐步形成了以传输视频信息和开展网上多功能服务为主.向产业链的上下游***.多业务并举的文化产业发展模式,探索出一条广电事业和文化产业协调发展的新路. 为了给客户提供高端前沿的视频产品和丰富多彩的

杉岩海量数据存储解决方案

随着大数据.云计算.物联网等新技术的发展,电信.互联网.政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.全球数据量每年约30%的速度递增,2020年达到惊人的40ZB. 面对海量数据,传统存储面临诸多挑战,主要体现在以下方面. 成本高:传统存储硬件使用专有设备,通用性差,设备投资加上后期维护.升级扩容的成本非常高. 性能低:单节点I/O性能瓶颈无法逾越,容量和性能都不易扩展,难以支撑海量数据的高并发低时延场景. 可扩展性差:无法实现快速部署和弹性扩展. 除此之外,信息安全问题触及到国家

将极致算力推向网络边缘,杉岩发布统一存储新版本

随着分布式计算.容器.多形态智能硬件的快速发展,边缘设备急剧增加,并逐渐成为数据生产的主力军.边缘存储作为边缘数据的底层支撑,为边缘计算提供高速低延迟的数据访问,以充分释放边缘数据的价值,提升企业竞争力.近日,杉岩统一存储平台SandStone USP V3.3版本正式发布.新版本针对边缘场景需求,在访问接口.网络传输.容器支持.站点管理.部署规格等方面进行了补齐和增强,满足边缘场景下对边缘数据就近存储和管理的需求,帮助客户解决规划.部署.管理边缘存储等难题,本文即对相关特性进行解读. 1.物联

海量图片存储,杉岩分布式对象存储轻松应对

当今世界,互联网.大数据应用迅猛发展,物联网.人工智能.云计算 技术日新月异,随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件.这些小文件的元数据管理.存储性能以及访问效率等问题因而成为学术界和工业界公认的难题. 例如,国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张,这些文件的平均大小仅为 15KB 左右,国外著名的社交网站Facebook 存储的图片总量更是超过了600亿张:在线视频播放服务中,每个视频会被切片服务器分割成 1MB 左右的分片文件,一部动画电

杉岩数据企业级私有云存储解决方案

虚拟化技术在企业私有云IT基础架构中仍然占据重要地位,同时,为了进一步提升应用效率,越来越多的生产环境也正在逐步变革,从以虚拟机为中心的架构向以容器和微服务为中心的云原生架构过渡,在这个过程中,存储如何有效支撑各种云主机应用与微服务应用,对于企业的私有云数据中心提出了新的挑战. 企业面临的问题 存储设施七国八制,硬件锁定缺少弹性 多种云平台对于存储的要求各不相同,块/文件/对象存储对应不同类型的应用,对外提供不同的服务接口,一种存储设备无法满足多种类型的云平台存储需求,而且传统存储在扩展性方面不

杉岩数据容器云存储解决方案

现代化的企业私有云IT基础架构中,越来越多的生产环境正在逐步变革,将以传统虚拟化为中心的架构向以容器和微服务为中心的云原生架构过渡,在这个过程中,存储如何有效支撑各种云主机应用与微服务应用,对于企业的私有云数据中心提出了很大挑战. 杉岩容器云存储解决方案充分发挥了杉岩存储产品的云服务能力,具备广泛的生态合作基础,可高效地对接各种云化的计算资源,降低复杂私有云数据中心的基础架构层管理运维成本. 面临的挑战 业务调度变更频繁,资源不能共享 随着容器.微服务平台在企业私有云环境的上线,大型企业的应用快

杉岩数据对象存储替换IBM FileNet,突破性能瓶颈

近年来随着非结构化数据的爆发性增长,由于IBM FileNet系统架构问题出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布式架构,针对海量文件场景提供可线性扩展的持续快速访问性能,同时提供全方位的海量数据保护支持和数据生命周期管理功能,能够完美替代IBM FileNet. 非结构化数据的爆炸式增长,使有价值的信息散落在各个"孤岛".这些非结构化信息包括办公文档.视频影像与音频.HTML网页.电子邮件.文本.报表等等,这些信息通常被放在企业的数据库.文件系

杉岩数据医疗影像存储解决方案助力深圳某医院PACS业务24小时运行

X光机.CT.核磁共振等医学影像技术,是辅助临床医生进行决策的重要工具.作为PACS影像数据的载体,杉岩基于双活存储解决方案,推动深圳某医院实现PACS影像数据的集中管理和存储双活,保障医院PACS业务7*24小时运行,方便医生随时随地调用.判读影像数据,让患者体验智慧医疗. 在现代医疗中,X光机.CT.核磁共振等医学影像技术,成为辅助临床医生进行决策的重要工具.作为医疗影像业务的核心,PACS系统(译为"医学影像存档与通信系统")成为医院信息系统的重要组成部分. PACS医学影像数据

杉岩数据异地容灾备份解决方案(中移物联网案例)

中国移动物联网有限公司(简称中移物联网)是中国移动全资子公司,聚焦物联网产业,专业化运营物联网专用网络,设计生产物联网专用模组和芯片,打造车联网.智能家居.智能穿戴等特色产品,开发运营物联网连接管理平台 OneLink和物联网开放平台OneNET.中移物联网拥有11万企业客户,物联卡用户超4亿,是全球四大物联网连接管理平台之一. 公司按照中国移动整体战略布局,围绕"物联网业务服务的支撑者.专用模组和芯片的提供者.物联网专用产品的推动者"的战略定位,专业化运营物联网专用网络,设计生产物联