杉岩数据银行Documentum迁移方案

一、方案原理

常规的Documentum迁移工具,如图1所示EMC原厂提供的EMA(Documentum Enterprise Migration Appliance)迁移工具,通常通过绕开Documentum的内容服务器API接口,根据Documentum内部文件对象索引规则直接访问数据库和NAS服务器来加速Documentum迁移过程,性能相比于通过API接口迁移能够提升10倍,但是每个小时也只能搬迁120万对象,如果Documentum存储了10亿文件对象,刨去其他工作或者异常处理的时间,最短也需要35天时间,这是一个充满风险和不可控因素的过程,另外因为应用侧不可能停机等待35天,所以应用侧必须改造业务支持同时从两边去读写数据,增大了业务改造工作量和业务代码的复杂度。

如图2所示,杉岩提供的Documentum迁移方案,同样通过直接访问Documentum的数据库获取文件的元数据和索引信息来提高迁移性能,另外基于NAS纳管特性,针对历史存量数据,在业务无需停机的情况下短时间内完成历史存量数据的纳管,然后在业务切割的极短时间窗口内,基于数据库时间戳快速完成增量数据的纳管,此时上层业务即可立即恢复正常服务,整个业务切换完成。

业务切割到SandStone MOS完成后,整个影像系统访问NAS和SandStone MOS的数据流程如图3所示:

所有新的文件保存到SandStone MOS,历史文件数据的读取由对象网关服务层自动代理到NAS;
业务在线的情况下,管理员通过SandStone MOS生命周期转移特性,设置NAS数据转移到SandStoneMOS的具体时间点和策略,SandStone MOS将自动完成全量NAS文件到自身的搬迁。
二、 业务接口改造

影像平台使用Documentum,通过Documentum提供的HTTP方式的API接口完成增删改查操作,SandStone MOS提供的S3接口同样属于HTTP方式的API,所以业务系统改造只需要从原来的Documentum接口改为调用SandStone MOS提供的标准S3接口即可。原有的方式是:影像系统通过Documentum API对数据进行检索,得到文件的r_object_id,进而根据r_object_id获取文件。数据完成迁移之后:影像系统通过MOS提供的检索接口检索对象,得到对象名,进而根据对象名称获取对象。

三 业务切割关键问题

1、 NAS纳管性能

NAS文件纳管的过程中,从Documentum的数据库查询文件的元数据和索引信息,然后将文件索引以及标签信息一并写入到SandStone MOS,Oracle 数据库的查询性能一般比存储系统写入的性能高,存在数量级的差别,所以NAS文件纳管的速度主要瓶颈在存储系统。

参考杉岩实验室测试报告数据,4节点环境8KB文件的写入TPS可以达到5000,因为NAS纳管的过程中业务尚未切割到SandStone MOS,所以所有写性能全部可以分配给到NAS作业,也就是纳管的性能参考指标为: 5000/s (具体值需要根据上线方案配置计算,一般会更高)。

2、 数据存量

XX银行当前影像系统的文件主要以50KB以下,以及50~900KB的文件为主,整套系统的数据量在300~400TB的体量,全国30多个分支银行,每个分支每年视频监控数据在50~60TB左右。

3、切割时间估算

假设存量数据总量按照300TB,平均200KB大小,总共大概是16亿个文件,按照5000/s的速度,那么如图4所示:

存量数据的纳管需要89小时,大概4天完成;
存量数据纳管的这4天内,业务数据增量为(30*50TB)/365 = 4.1TB,增量文件数量大概是2200万
2200万增量数据的纳管需要1.2小时,也就是业务切割时需要停机的时间,加上其他操作时间,预计2小时可以完成。

4、 失败回滚

假如业务切割到SandStone MOS上之后,验收测试发现异常需要处理,可以立即回滚业务系统,切回Documentum,因为实际数据和元数据都没有删除掉,整个系统能够立即恢复服务,风险小。

四、完整迁移步骤

1、准备工作

如图所示,保证Documentum的DB和NAS服务可以正常访问,业务系统正常运行,部署好SandStone MOS分布式对象存储可用。

2、存量数据纳管

无需停业务,保持业务正常在线。

记录当前时间点T1,通过迁移工具从数据库读取T1时间点及之前的文件元数据及索引一并写入SandStone MOS,完成存量NAS文件的纳管工作,预计花费时间4天。

3 业务停机

业务切割过程开始,记录当前时间点T2,停掉业务程序。

4、 增量数据纳管

完成T1到T2时间点新增数据文档的纳管,预计花费时间2小时。

5、 业务切换

此时所有Documentum文件数据通过SandStone MOS均可以统一访问,执行业务程序切换动作,将业务流量指向SandStone MOS。

6 业务恢复

启动新的业务程序,执行功能验证测试,如果失败则执行回滚操作,如果验证测试成功表明业务切割成功,整个迁移过程结束。

五 后期内容搬迁

1、数据正确性

SandStone MOS内置生命周期转移NAS文件的过程中,会自动对迁移完成的文件做MD5值校验,从而保证数据的完整性和正确性。

2、平滑迁移QoS

NAS文件搬迁的过程中为了防止对正常业务造成性能影响,SandStone MOS支持生命周期转移QoS控制功能,可以根据业务性能需求以及系统性能做合理调配,优先保证业务访问性能的前提下,最大化数据搬迁效率。

3、数据搬迁周期

业务切割成功之后,所有的新文件都直接写入SandStone MOS,所以后续需要搬迁的NAS文件数量是固定的,按照16亿计算,然后搬迁的生命周期转移QoS控制TPS为500,那么需要40天的搬迁时间,具体需要根据生产环境配置调整。

六、总结

面对XX银行上10亿的Documentum存量数据,EMC原厂提供的迁移方案需要超过一个月的迁移时间,工作量大、周期长,几乎不可行。

杉岩数据提供的Documentum迁移方案,结合SandStone MOS特有的NAS纳管特性,只需要4天的时间完成存量数据纳管以及2小时的停机时间窗完成增量纳管以及业务切割,极大简化了Documentum向对象存储迁移的业务复杂度,减轻应用改造和迁移工作量,能够满足XX银行Documentum迁移需求。

原文地址:https://blog.51cto.com/14636092/2459938

时间: 2024-10-01 05:04:51

杉岩数据银行Documentum迁移方案的相关文章

存储性能差?杉岩数据分布式存储性能优化方案

作为明星产品,杉岩海量对象存储(SandStone MOS)在企业级市场顺势推出后,即受到了广泛的认可和接纳,它在众多企业级用户的场景中具备独特的价值属性,例如:海量小文件的访问性能保障.分支总部间的信息高速分发.数据中心级的双活或多活容灾等等,都让用户在面临PB级甚至EB级规模的非结构化数据存储时,有了一个全新的兼顾成本和服务的选择. SandStone MOS 在接口兼容性.数据安全性.业务高可用.全局便捷运维.数据生命周期管理等场景上进行了全新的补充和完善,接下来将为您详细解读关键功能的价

杉岩数据:对象存储是企业海量非结构化数据存储的最佳选择

海量数据的爆炸式增长,使存储技术近五年的发展速度远超过去n年的发展历程.C端用户一个明显的感觉就是:U盘存储容量从过去物以稀为贵的几十M迅速发展到今天几十G.甚至TB级,家用电脑硬盘容量更是TB级标配. 那么,企业级又迎来了怎样的变化? IDC数据显示,到2020年,企业数据总体将达到44ZB,其中80%的数据将会是非结构化数据(图片.视频.归档以及企业级备份等各种数据).显然,海量数据的产生正在促使企业级存储从需求到产品形态都发生了改变. "相对于NAS.SAN这种传统企业级存储解决方案,对象

杉岩数据医疗影像存储解决方案助力深圳某医院PACS业务24小时运行

X光机.CT.核磁共振等医学影像技术,是辅助临床医生进行决策的重要工具.作为PACS影像数据的载体,杉岩基于双活存储解决方案,推动深圳某医院实现PACS影像数据的集中管理和存储双活,保障医院PACS业务7*24小时运行,方便医生随时随地调用.判读影像数据,让患者体验智慧医疗. 在现代医疗中,X光机.CT.核磁共振等医学影像技术,成为辅助临床医生进行决策的重要工具.作为医疗影像业务的核心,PACS系统(译为"医学影像存档与通信系统")成为医院信息系统的重要组成部分. PACS医学影像数据

杉岩数据对象存储替换IBM FileNet,突破性能瓶颈

近年来随着非结构化数据的爆发性增长,由于IBM FileNet系统架构问题出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布式架构,针对海量文件场景提供可线性扩展的持续快速访问性能,同时提供全方位的海量数据保护支持和数据生命周期管理功能,能够完美替代IBM FileNet. 非结构化数据的爆炸式增长,使有价值的信息散落在各个"孤岛".这些非结构化信息包括办公文档.视频影像与音频.HTML网页.电子邮件.文本.报表等等,这些信息通常被放在企业的数据库.文件系

海量非结构化数据存储难题 ,杉岩数据对象存储完美解决

"过去几年,大数据产业更多关注的是如何处理海量.多源和异构的数据,但我们必须承认这些只是冰山一角.目前,结构化数据仅占到全部数据量的20%,其余80%都是以文件形式存在的非结构化和半结构化数据.伴随非结构化数据呈现爆发之势,对象存储市场近两年保持强劲增长,IDC预计,软件定义存储(SDS)市场未来五年复合增长率将达到28.8%." 传统IT架构渐成"过去式" 非结构化数据倒逼存储变革 今天,许多企业已经意识到,结构化数据仅仅是企业所拥有数据的一小部分.与业务信息系统

杉岩数据异地容灾备份解决方案(中移物联网案例)

中国移动物联网有限公司(简称中移物联网)是中国移动全资子公司,聚焦物联网产业,专业化运营物联网专用网络,设计生产物联网专用模组和芯片,打造车联网.智能家居.智能穿戴等特色产品,开发运营物联网连接管理平台 OneLink和物联网开放平台OneNET.中移物联网拥有11万企业客户,物联卡用户超4亿,是全球四大物联网连接管理平台之一. 公司按照中国移动整体战略布局,围绕"物联网业务服务的支撑者.专用模组和芯片的提供者.物联网专用产品的推动者"的战略定位,专业化运营物联网专用网络,设计生产物联

mysql迁移之巨大数据量快速迁移方案

mysql迁移之巨大数据量快速迁移方案-增量备份及恢复 --chenjianwen 一.前言: 当mysql库的大小达到几十个G或者上百G,迁移起来是一件非常费事的事情,业务中断,导出导入耗费大量的时间:所以,需要考虑怎么去节省时间的问题. 二.方案: 1.制定维护时间,中断业务,登录 mysql,刷新日志 2.全备数据,备份后得到 binlog 日志文件 mysql-bin.000001 3.迁移走之前的 binlog 日志文件,只留下 mysql-bin.000001 4.恢复业务 5.将全

国产化软件定义存储厂商杉岩数据获B轮投资,广发乾和领投

2019年4月22日 深圳市杉岩数据技术有限公司完成由广发乾和领投,深圳中小担集团发起和管理的深圳市人才创新创业三号基金(简称“人才三号基金”)跟投的B轮融资. 杉岩数据创始人兼CEO陈坚表示:“该轮资金将主要用于加大产品关键技术的研发投入,进一步提升新一代智能存储产品的智能化和自动化.依托国际化的技术创新优势和长期积累的研发实力,深入结合市场需求,以客户需求为导向,杉岩将与合作伙伴携手,通过创新的产品.解决方案及服务为各行各业的数字化转型提供大数据存储.管理.挖掘.分析和新一代人工智能应用的基

杉岩数据2020年分布式存储技术研讨会顺利举办

在全球科技革命与产业变革浪潮中,信息科技与各个领域的融合已势不可挡.随着融合的不断深入,政府的治理方式也随之发生变化.建设数字政府成为"创新行政方式.提高行政效能,建设人民满意的服务型政府"的重要途径和关键抉择. 在政府部门加大对数字政府的信息基础设施建设投入过程中,优化信息存储与信息使用安全环境,为数据的采集.存储.开发和利用提供可靠的数据源,将有利于政府提升决策能力.管理能力和服务能力. 2020年1月2日,杉岩数据在深圳总部举办了分布式存储技术交流会,深圳市20多家市.区政府单位