软件定义存储加码数据治理 助推金融机构数字化转型

当前,伴随信息技术的持续变革与发展,以数字经济为代表的新经济将成为发展新动能。以云计算、大数据、人工智能等为代表的数字技术不断涌现,快速向经济社会各领域融合***。以数据为核心的数字化转型已是大势所趋。金融业是数据密集型行业,在生产经营过程中积累了海量的数据资源,对数据资产进行管理、应用、治理成为金融机构探索和实践的重要方向。在本篇文章中,我们将结合金融机构在数据治理过程中的具体实践,一起探讨软件定义存储技术能够在数据治理体系中发挥怎样的价值。

金融机构数字化转型中数据治理的困难与挑战

金融机构作为数字化转型的亲身实践者,在过去的实践中积累了较为丰富的数据治理经验。但是面对数据的海量增长,如何科学地管理和使用数据,“盘活”数据价值,使经济利益和社会效益最大化,依然面临着诸多困难与挑战。

困难一、缺乏统一数据视图,难以发现价值数据

由于历史原因,多数金融机构的数据资源散落在多个业务系统中,缺乏统一的数据视图,管理人员和业务人员无法及时感知数据分布情况,无法快速找到符合自己需求的数据,也无法发现有价值的数据并纳入数据资产。

困难二、数据孤岛普遍存在,跨业务共享效率低

金融机构将数据作为战略性资源,因数据共享机制不完善、各机构数据接口不统一等问题,导致数据难以互联互通,形成“数据烟囱”,不利于开放共享。

困难三、数据质量低下,业务决策根基不牢

数据质量是金融服务与创新的重要基础。由于缺乏完善的数据治理体系,金融机构在数据采集、存储、处理等环节存在不科学、不规范等问题,无法确保数据的完整性和准确性。

困难四、科技研发投入不足,数据场景融合不足

金融机构的数据规模十分庞大,从中挖掘高价值、关联性强的高质量数据,需要高效的信息技术支撑和可靠的基础设施保障。然而,部分机构科技研发投入相对不足,导致海量数据资源无法盘活,数据价值难以充分释放。

困难五、缺乏安全的数据环境,数据流程存在风险

倘若拥有庞大的数据资源,但缺乏安全的数据环境,同样危险重重。常见的安全风险包括数据泄露、数据滥用等,潜藏在数据的采集、存储、共享等各个流程中。

困难六、缺乏数据治理体系,数据“不善用、不尽用”

部分金融机构尚未建立起有效管理和应用数据的模式,对数据服务和应用缺乏合规性指导。由于法律法规尚不健全、数据治理体系还不完善、机构合规意识不足,数据“不善用”的问题突出,过度采集数据、违规使用数据、非法交易数据等问题屡见不鲜。

概括而言,一是数据组织形态和架构的问题,即如何将数据纳入统一视图、让数据跨业务共享;二是数据管理策略和安全的问题,即如何提高数据的质量、深化数据与应用的融合、保障数据环境的安全;三是数据价值发现的问题,即如何释放数据价值。

面对上述困难和挑战,金融机构如何解困破局、实现数据有序治理和高效利用,探索数据治理之“道”成为迫在眉睫的问题。

三大策略指引金融机构从数据管理到数据治理转型跨越

针对以上困难和挑战,金融机构如何制定数据治理策略、完善数据治理体系、做好数据资产管理和价值评估至关重要。所谓数据治理,就是处理数据的策略,即如何存储、访问、验证、保护和使用数据。数据治理必须涵盖数据的全生命周期,即从数据的获取、存储到管理、应用再到归档、删除的全流程。

按照数据生命周期的特点,可以将数据治理策略分为三个部分,即数据的获取和存储、数据的管理和安全、数据价值的释放。

策略一、数据的获取和存储

数据生命周期管理的起点,是数据的获取和存储,这也是数据治理最先面对的环节。若要解决统一视图、跨业务共享的问题,需要对数据资源制定标准、建立模型,并确定元数据和主数据的存储方式,可概括为数据标准管理、数据模型管理、元数据管理、主数据管理四个方面。

数据标准管理可确保大数据平台数据的完整性、有效性、一致性、规范性,推动数据共享开放。数据模型管理将所有数据纳入统一视图,便于数据整合。元数据管理实现关键信息的追踪、记录和快速检索。主数据管理实现跨系统使用一致的和共享的主数据,降低成本和复杂度。

策略二、数据的管理和安全

如何对数据进行管理、评估和共享呢?这便进入数据治理的第二阶段,即数据的管理和安全,该阶段的主要措施可概括为质量管理、安全管理、共享管理等三个方面。

质量管理帮助金融机构获得干净、结构清晰的数据,极大提升数据质量;安全管理确保数据资产在“存、管、用”等环节中的安全,做到“事前可管、事中可控、事后可查”;数据共享管理通过搭建统一共享平台,打通跨部门共享瓶颈,提高利用价值。

策略三、数据价值的释放

数据治理的最终目的是释放数据价值。数据价值管理是数据治理体系中的关键环节,是对数据内在价值的度量,主要从数据资产的分类、使用频次、使用对象、使用效果等方面计量。数据价值管理可以实现数据成本的有效控制,优化数据服务方式,提高数据应用价值。

以上各个环节之间环环相扣,只有紧密协同才能发挥更大作用。完善的数据治理体系帮助金融机构找准高质量数据、深挖高价值数据,最终实现数据资产效益最大化的目标,解决金融机构的数据治理之“困”。

软件定义存储助力数据治理体系建设

为构建数据治理体系,金融机构不仅要结合业务需求合理规划,更要依托信息技术梳理数据内容、安全存储数据、高效利用数据,存储系统必然是重要支撑。

现阶段,多数金融机构倾向于通过搭建数据湖(Data Lake)来存储包括结构化、半结构化、非结构化数据在内的数据资源,以供上层调用。这样一来,软件定义存储(Software Defined Storage,简称SDS)在金融机构数据治理体系中,无疑扮演着重要角色。那么,什么是软件定义存储?软件定义存储、数据湖、数据治理之间有何关系呢?

本质上,软件定义存储是提供存储功能和特性的软件,它将数据从硬件架构上解放出来,使用户专注于数据蕴含的价值。软件定义存储通过统一的虚拟管理平台,与前端应用、管理程序、物理空间进行交互,极大简化数据管理。数据湖是以自然格式存储的数据的系统,一般包括结构化数据、半结构化数据、非结构化数据和二进制数据等全部原始数据资源。简而言之,要实现数据存储和管理的优化,基于软件定义存储搭建统一数据湖无疑是极佳的选择。

图1:基于SDS的数据管理架构图

软件定义存储以分布式架构、弹性扩展、海量数据支撑、管理运维简单等优势,帮助金融机构搭建稳定可靠的数据平台,轻松实现海量数据的存储和管理,依靠AI后处理框架挖掘数据价值,成为金融机构治理数据的好帮手。主要体现在以下几个方面:

优势一、解决海量存储需求

针对金融机构缺乏统一数据视图、存在数据孤岛等问题,软件定义存储因其抽象化、池化等特性,从根本上解决了这类问题。软硬件解耦使得存储软件不再依赖于专有硬件;通过虚拟化,将物理存储空间虚拟成统一资源池,建立统一命名空间,构建多业务共享的数据湖;

其全分布式架构,弹性扩展灵活,支撑EB级容量,满足金融机构对容量、性能等需求。

优势二:解决智能管理需求

软件定义存储提供丰富的API,根据业务应用要求,自动按需部署存储资源,实现基于存储策略的自动化管理目标,极大地简化管理,节省基础设施投入,降低运维成本。其自定义管理的策略,实现生命周期自动化管理;通过智能缓存、数据分层等特性,让存储介质“物尽其用”,在数据访问性能和存储成本之间实现平衡。

优势三:解决释放数据价值需求

伴随AI技术的兴起,数据治理开始向“智能化”转变。与传统存储不同,软件定义存储能够实现内容感知,配合前端应用对海量数据进行大数据分析和价值挖掘。以杉岩数据为例,其对象存储产品中集成了AI后处理框架,支持包括OCR识别、票据识别、人脸识别、语音识别等AI插件,帮助金融客户更好的实现AI赋能和价值挖掘;同时还支持 Hadoop、Spark等大数据分析系统,充分释放数据价值。

面对诸多难题,软件定义存储帮助金融机构打造智能化的数据治理平台,解决数据的存储、管理、共享等一系列问题,极大地提升数据治理水平,为数字化转型提供有力支撑。

数据中台解决方案助推金融机构数字化转型

在金融机构数字化转型中,每家机构业务基础不同、战略重点不同,数字化转型中是不能套用一套模板的,需结合宏观架构和具体应用场景进而深入融合,才能助力金融机构在全面数字化转型中夯实“科技+开放”能力,与金融机构共建数字金融快车道,提升金融服务实体产业的质效。金融非结构化数据中台解决方案就是这样一个代表性的方案。

图2:金融非结构化数据中台解决方案拓扑图

数据中台解决方案,以软件定义存储作为能力后台,为数据中台提供存储支撑。基于分布式架构搭建统一存储池;通过生命周期管理、智能QoS等实现自动化管理;集成AI后处理框架,整合金融机构的 AI 能力,将数据价值最大化释放,为金融机构提供数据治理的技术支撑。

数据中台解决方案能够帮助金融机构解决数据孤岛、实现数据有序治理和高效利用。

一.实现能力平台化,使数据的存储、共享趋于服务化。面对需求变化,快速响应开发,通过数据与应用深度融合实现一次处理、多处应用,避免重复开发带来的效率损失。

二.解决数据孤岛问题。可实现跨业务检索、数据共享更加便捷,便于数据整合分析。解决业务性能弹性扩展,轻松支撑EB级容量、百亿文件高并发访问。

三.实现统一的基础设施资源管控,让数据治理更加场景化、模式化、体系化、标准化。统一的数据管理,保障数据完整性、准确性和一致性,减少重复收集造成的资源浪费和数据冗余。数据的规范共享,提升数据利用效率和应用水平,实现数据多向赋能。

金融科技蓬勃发展,金融业正处于以科技赋能实现大发展、大变革的关键时期。数据作为战略资源,加快数据治理进程、完善数据治理体系已经成为金融机构的重要工作。数据治理的核心环节是数据应用,要从算力、存储、网络等维度加强技术支撑,切实增强数据应用能力。对存储而言,探索、交叉融合、数据安全等数据存储方案是稳步推动分布式数据库金融应用的基石,实现数据高效存储和智能管理是目标。

在金融科技驱动的数字化转型进程中,一些金融机构已取得突破,如:中国金融认证中心、广发证券、中国人民保险、招行信诺等,基于数据驱动业务发展需求,采用数据中台解决方案,提升了一站式技术能力、统一数据管理能力、快速配置开发业务能力,通过数字化转型带来了数据融合和技术融合,满足了数据中台的建设需求。

金融业的数字化转型的快速发展,离不开像华为、杉岩数据等云计算企业,大家深刻认识数据资源对金融业数字化转型的重要意义,切实助力金融业把数据存储、管理、应用做到按需规划,推动金融业向数字化的落地。国产自主研发的软件定义存储作为数据存储+数据共享的平台,为金融业提供了更快的性能、更高的灵活性和开放性、更强的扩展性,实现更便捷的管理、更简单的运维以及更少的投入,帮助金融机构“数据治理”驶入快车道。

(文/ 杉岩数据CTO 邱尚高)

原文地址:https://blog.51cto.com/14636092/2472689

时间: 2024-09-30 05:40:53

软件定义存储加码数据治理 助推金融机构数字化转型的相关文章

痛客平台大数据技术助推贵阳“一企一策”

痛客平台大数据技术助推贵阳"一企一策" 当前中国,正在实施供给侧结构性改革,将经济增长动力点由消费者需求回归于企业方的供给.在这样的背景下,贵州省贵阳市正在实施"一企一策"工作.针对贵阳市的工业领域企业,开展相关企业的转型升级工作,落实国家供给侧结构性改革. "一企一策"工作旨在明确企业转型升级的重点方向,编制转型升级方案.而痛客平台致力于用众包方式解决各行业企业痛点,突破技术瓶颈.引领企业升级.在供给侧结构性改革的大背景下,痛客平台与"

SDS趋势之四:软件定义存储延长数据价值

前两天看到西瓜哥发布的一篇文章名为<SERVER SAN一定比阵列便宜吗?请看5年TCO分析>,其中分析了几家公司产品在数据归档方面5年内的TCO分析.我非常赞同西瓜哥的看法,这种场景的未来一定是Sserver SAN的,这个结论应该不用怀疑. 对于长期归档,应该用10年的跨度来对比比较合适.因为一般阵列的生命周期是5-7年,生命周期结束要更换到新的系统,必须要进行数据迁移,有一笔迁移的费用.而Server SAN理论上可以滚动更换服务器,平滑完成硬件的升级,而且,如果数据量暴涨,Scale-

数据中台元年,企业数字化转型面临的三大挑战

随着企业信息化程度越来越高,企业掌握的数据量从原来的TB级发展到PB级,再到EB级甚至往ZB级别发展.数据形式也在从原来的结构化数据为主转变为以日志.视频.图片.语音等非结构化数据为主. 然而,数据存储和计算.数据组织的运行都是有成本的.当数据消耗成本较小时,企业通过设立独立预算的大数据项目即可应对.但是随着越来越多的数据产生且被应用,数据成本急剧增加,发展数据业务就必须被提升到企业数字化转型的高度,之前的应对策略便不足以应对.毋庸置疑,接下来,数据部门将作为一个业务部门长期存在,这就需要数据部

云计算与大数据时代,生态效率是数字化转型的基础

请输入描述如今,数字化增长速度远超企业的想象力.IDC报告指出,到2020年,50%的中国2000强制造业企业,将会依靠数字化平台来增加对生态系统和体验的投资,并支持其总收入的30%.从全球来看,去年67%的全球TOP 1000企业已经将数字化转型作为公司战略的核心. 随着越来越多的企业加入数字化转型大军,每个企业都在期待着数字化带来的业务创新及优化.从云平台的应用.大数据的决策分析,再到工作流程自动化,企业的IT部门不再仅仅是维护企业本身的业务运作以及数据处理,而是需要接入整个生态系统进行业务

日益加强的医药数据监管,是企业数字化转型的新动力

如果说刚刚"上岗"的GDPR是所有企业的恶梦,倒不说是促进所有企业数字化转型的新动力.欧洲联盟于2018年5月25日出台的条例,<通用数据保护条例>(General Data Protection Regulation,简称GDPR),前身是欧盟在1995年制定的<计算机数据保护法>.在该条例的众多规定中,有一条是企业收集的所有用户数据必须能够以标准化格式供用户下载,仅此一条将无疑极大促进企业在数据格式标准化方面的大额投资. 实际上,在其它行业,类似日益加强的数

看看美团如何进行数据治理平台的建设与实践?

背景 作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘.在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持.经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现.其中数据仓库整合各业务线的数据,消灭数据孤岛:各种数据平台拥有不同的特色和定位,例如:自助报表平台.专业数据分析平台.CRM数据平台.各业务方向绩效考核平台等,满足各类数据分析挖掘需求.早期数据仓库与各种数据平台的体系架构如图1所示: 图1 酒旅早期各数

软件定义存储在大型数据中心的应用分析

历史经验一再表明,由技术进步推动的变革往往以超乎人们想象的速度和烈度发生.SDS软件定义存储作为新兴的技术,即使穷尽你所有想象,也难以预测其发展的速度有多快,影响的程度有多深远.面对新的变革和潮流,在追逐变化的同时,还需冷静思考可能带来的问题.SDS在数据中心的应用一定能提高性能和降低成本,并可控风险么?SDS会隐藏什么样的问题? 问题一.不能充分利用现有的基础架构 数据中心是非常繁忙的,IT部门要同时接受从多个不同的应用系统发来的需求和数据任务并及时响应和处理.另外,IT专业人员的日常工作还需

国产化软件定义存储厂商杉岩数据获B轮投资,广发乾和领投

2019年4月22日 深圳市杉岩数据技术有限公司完成由广发乾和领投,深圳中小担集团发起和管理的深圳市人才创新创业三号基金(简称“人才三号基金”)跟投的B轮融资. 杉岩数据创始人兼CEO陈坚表示:“该轮资金将主要用于加大产品关键技术的研发投入,进一步提升新一代智能存储产品的智能化和自动化.依托国际化的技术创新优势和长期积累的研发实力,深入结合市场需求,以客户需求为导向,杉岩将与合作伙伴携手,通过创新的产品.解决方案及服务为各行各业的数字化转型提供大数据存储.管理.挖掘.分析和新一代人工智能应用的基

软件定义存储的4个趋势

如今,越来越多的企业正在部署软件定义存储(SDS),但有时会遇到支持和可扩展性有关的问题. 随着企业向软件定义数据中心(SDDC)的转移,其中许多企业正在部署软件定义存储(SDS).相关的市场调查表明,2016年软件定义存储市场规模为47.2亿美元,到2021年可能会增加到225.6亿美元,其年复合增长率为36.7%. 企业采用SDS主要有两个原因:灵活性和成本.SDS可以让存储硬件的存储控制器功能抽出来放到软件上.这为组织提供了更多的选择,包括自由地改变供应商的视野,并选择低成本的硬件.SDS