杉岩海量图片分布式存储解决方案

随着互联网、云计算及大数据等信息技术的发展,越来越多的应用依赖于对海量数据的存储和处理,如智能监控、电子商务、地理信息等,这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内),以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统,若直接用来存储图片,由于元数据膨胀,在扩展性和性能方面均存在严重问题。

为了解决HDFS在小文件存储方面的问题,通常的做法是先将很多小文件合并成一个大文件再保存到HDFS,同时为这些小文件建立索引,以便进行快速存取。典型技术包括Hadoop自带的Archive、SequenceFile,但均需要用户自己编写程序,实现小文件的合并。为了实现小文件合并对用户的透明,需从系统层面解决HDFS小文件问题。论文针对具体应用场景进行了探索,但不具有通用性。

SandStone MOS海量图片解决方案

对于海量图片数据的存储问题,杉岩海量对象存储(SandStone MOS)解决方案采用去中心化分布式架构,同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展,业务可以随时随地访问而不受数据存储位置的限制。

在提升海量小文件访问性能方面,SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难,SandStone MOS支持标签功能,文件存储时会自动设置标签,从而更好地与业务结合,满足高效检索。

此外,SandStone MOS在易用性与可维护性方面也超越了同级别产品,其采用“x86通用服务器+存储软件”的分布式解耦架构,将底层存储空间与上层业务逻辑空间进行分离,软硬件的升级不会影响到整个系统的正常运行。

即使系统有再多应用更新,也不会影响存储空间的使用。值得一提的是,SandStone MOS首创的分布式存储数据盘漫游功能,可以帮助企业用户渐进式的进行老旧硬件设备更换,不影响业务的正常运行。

在对象存储领域的专注与持续创新,换来的是行业的高度认可。去年8月,杉岩数据成为首家通过Intel中国云计算创新中心测试并发布报告的软件定义存储厂商。

与此同时,杉岩数据作为国家信息化标准委员会云计算标准工作组成员单位及中国开源云联盟理事单位,先后参与了分布式存储国家标准的制定工作及Ceph行业白皮书的编写工作。

如今,对象存储正焕发出更大的生命力,一场存储革命也已开启。以杉岩数据为代表的创新型存储厂商,正通过不断深耕对象存储领域,帮助企业构建更加智慧的IT基础设施,推动传统存储朝着更高效、更集约、更易用的方向全面演进。

原文地址:https://blog.51cto.com/14636092/2460988

时间: 2024-10-08 04:16:03

杉岩海量图片分布式存储解决方案的相关文章

杉岩海量数据存储解决方案

随着大数据.云计算.物联网等新技术的发展,电信.互联网.政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.全球数据量每年约30%的速度递增,2020年达到惊人的40ZB. 面对海量数据,传统存储面临诸多挑战,主要体现在以下方面. 成本高:传统存储硬件使用专有设备,通用性差,设备投资加上后期维护.升级扩容的成本非常高. 性能低:单节点I/O性能瓶颈无法逾越,容量和性能都不易扩展,难以支撑海量数据的高并发低时延场景. 可扩展性差:无法实现快速部署和弹性扩展. 除此之外,信息安全问题触及到国家

存储性能差?杉岩数据分布式存储性能优化方案

作为明星产品,杉岩海量对象存储(SandStone MOS)在企业级市场顺势推出后,即受到了广泛的认可和接纳,它在众多企业级用户的场景中具备独特的价值属性,例如:海量小文件的访问性能保障.分支总部间的信息高速分发.数据中心级的双活或多活容灾等等,都让用户在面临PB级甚至EB级规模的非结构化数据存储时,有了一个全新的兼顾成本和服务的选择. SandStone MOS 在接口兼容性.数据安全性.业务高可用.全局便捷运维.数据生命周期管理等场景上进行了全新的补充和完善,接下来将为您详细解读关键功能的价

杉岩数据2020年分布式存储技术研讨会顺利举办

在全球科技革命与产业变革浪潮中,信息科技与各个领域的融合已势不可挡.随着融合的不断深入,政府的治理方式也随之发生变化.建设数字政府成为"创新行政方式.提高行政效能,建设人民满意的服务型政府"的重要途径和关键抉择. 在政府部门加大对数字政府的信息基础设施建设投入过程中,优化信息存储与信息使用安全环境,为数据的采集.存储.开发和利用提供可靠的数据源,将有利于政府提升决策能力.管理能力和服务能力. 2020年1月2日,杉岩数据在深圳总部举办了分布式存储技术交流会,深圳市20多家市.区政府单位

杉岩数据:以超融合技术铸造音乐殿堂

在经济全球化的大背景下,中国制造业面临着更加激烈的竞争,市场日新月异的变化使得制造业在从事生产的同时,为了缩短产品周期.管理复杂的库存,提高与供应商的协作效率以及如何快速有效地处理订单等问题,对于IT的效率要求越来越高.随着企业规模的扩展,迫切需要重塑IT以支持持续的业务创新与发展. 客户背景 深圳市韶音科技有限公司(简称"韶音科技")成立于2004年,公司集研发.生产.销售于一体,拥有自主的品牌与知识产权,是国家高新技术企业,也是深圳市重点扶持的科技创新型企业.由于公司多年以来在研发

杉岩数据异地容灾备份解决方案(中移物联网案例)

中国移动物联网有限公司(简称中移物联网)是中国移动全资子公司,聚焦物联网产业,专业化运营物联网专用网络,设计生产物联网专用模组和芯片,打造车联网.智能家居.智能穿戴等特色产品,开发运营物联网连接管理平台 OneLink和物联网开放平台OneNET.中移物联网拥有11万企业客户,物联卡用户超4亿,是全球四大物联网连接管理平台之一. 公司按照中国移动整体战略布局,围绕"物联网业务服务的支撑者.专用模组和芯片的提供者.物联网专用产品的推动者"的战略定位,专业化运营物联网专用网络,设计生产物联

杉岩数据医疗影像存储解决方案助力深圳某医院PACS业务24小时运行

X光机.CT.核磁共振等医学影像技术,是辅助临床医生进行决策的重要工具.作为PACS影像数据的载体,杉岩基于双活存储解决方案,推动深圳某医院实现PACS影像数据的集中管理和存储双活,保障医院PACS业务7*24小时运行,方便医生随时随地调用.判读影像数据,让患者体验智慧医疗. 在现代医疗中,X光机.CT.核磁共振等医学影像技术,成为辅助临床医生进行决策的重要工具.作为医疗影像业务的核心,PACS系统(译为"医学影像存档与通信系统")成为医院信息系统的重要组成部分. PACS医学影像数据

杉岩数据企业级私有云存储解决方案

虚拟化技术在企业私有云IT基础架构中仍然占据重要地位,同时,为了进一步提升应用效率,越来越多的生产环境也正在逐步变革,从以虚拟机为中心的架构向以容器和微服务为中心的云原生架构过渡,在这个过程中,存储如何有效支撑各种云主机应用与微服务应用,对于企业的私有云数据中心提出了新的挑战. 企业面临的问题 存储设施七国八制,硬件锁定缺少弹性 多种云平台对于存储的要求各不相同,块/文件/对象存储对应不同类型的应用,对外提供不同的服务接口,一种存储设备无法满足多种类型的云平台存储需求,而且传统存储在扩展性方面不

杉岩数据企业内容管理解决方案

随着人工智能.4G/5G技术发展,越来越多的企业利用照片.视频等方式取代现场业务办理,提升业务办理效率,同时通过这些方式记录业务处理过程,保证服务质量.而这些方式的应用,使得企业应用产生非结构化数据的来源变多,非结构化数据量也呈现爆发性增长,对这些数据的科学管理和有效开发成为企业正确决策.增强竞争力的关键. 杉岩企业内容管理解决方案,帮助企业客户实现跨业务系统的非结构化数据统一存储.统一管理和价值挖掘,提升企业业务管理水平. 客户需求 数据增长快导致管理复杂化 文件数量快速增长达到数亿级别,存储

杉岩数据容器云存储解决方案

现代化的企业私有云IT基础架构中,越来越多的生产环境正在逐步变革,将以传统虚拟化为中心的架构向以容器和微服务为中心的云原生架构过渡,在这个过程中,存储如何有效支撑各种云主机应用与微服务应用,对于企业的私有云数据中心提出了很大挑战. 杉岩容器云存储解决方案充分发挥了杉岩存储产品的云服务能力,具备广泛的生态合作基础,可高效地对接各种云化的计算资源,降低复杂私有云数据中心的基础架构层管理运维成本. 面临的挑战 业务调度变更频繁,资源不能共享 随着容器.微服务平台在企业私有云环境的上线,大型企业的应用快