当前,伴随信息技术的持续变革与发展,以数字经济为代表的新经济将成为发展新动能。以云计算、大数据、人工智能等为代表的数字技术不断涌现,快速向经济社会各领域融合***。以数据为核心的数字化转型已是大势所趋。金融业是数据密集型行业,在生产经营过程中积累了海量的数据资源,对数据资产进行管理、应用、治理成为金融机构探索和实践的重要方向。在本篇文章中,我们将结合金融机构在数据治理过程中的具体实践,一起探讨软件定义存储技术能够在数据治理体系中发挥怎样的价值。
金融机构数字化转型中数据治理的困难与挑战
金融机构作为数字化转型的亲身实践者,在过去的实践中积累了较为丰富的数据治理经验。但是面对数据的海量增长,如何科学地管理和使用数据,“盘活”数据价值,使经济利益和社会效益最大化,依然面临着诸多困难与挑战。
困难一、缺乏统一数据视图,难以发现价值数据
由于历史原因,多数金融机构的数据资源散落在多个业务系统中,缺乏统一的数据视图,管理人员和业务人员无法及时感知数据分布情况,无法快速找到符合自己需求的数据,也无法发现有价值的数据并纳入数据资产。
困难二、数据孤岛普遍存在,跨业务共享效率低
金融机构将数据作为战略性资源,因数据共享机制不完善、各机构数据接口不统一等问题,导致数据难以互联互通,形成“数据烟囱”,不利于开放共享。
困难三、数据质量低下,业务决策根基不牢
数据质量是金融服务与创新的重要基础。由于缺乏完善的数据治理体系,金融机构在数据采集、存储、处理等环节存在不科学、不规范等问题,无法确保数据的完整性和准确性。
困难四、科技研发投入不足,数据场景融合不足
金融机构的数据规模十分庞大,从中挖掘高价值、关联性强的高质量数据,需要高效的信息技术支撑和可靠的基础设施保障。然而,部分机构科技研发投入相对不足,导致海量数据资源无法盘活,数据价值难以充分释放。
困难五、缺乏安全的数据环境,数据流程存在风险
倘若拥有庞大的数据资源,但缺乏安全的数据环境,同样危险重重。常见的安全风险包括数据泄露、数据滥用等,潜藏在数据的采集、存储、共享等各个流程中。
困难六、缺乏数据治理体系,数据“不善用、不尽用”
部分金融机构尚未建立起有效管理和应用数据的模式,对数据服务和应用缺乏合规性指导。由于法律法规尚不健全、数据治理体系还不完善、机构合规意识不足,数据“不善用”的问题突出,过度采集数据、违规使用数据、非法交易数据等问题屡见不鲜。
概括而言,一是数据组织形态和架构的问题,即如何将数据纳入统一视图、让数据跨业务共享;二是数据管理策略和安全的问题,即如何提高数据的质量、深化数据与应用的融合、保障数据环境的安全;三是数据价值发现的问题,即如何释放数据价值。
面对上述困难和挑战,金融机构如何解困破局、实现数据有序治理和高效利用,探索数据治理之“道”成为迫在眉睫的问题。
三大策略指引金融机构从数据管理到数据治理转型跨越
针对以上困难和挑战,金融机构如何制定数据治理策略、完善数据治理体系、做好数据资产管理和价值评估至关重要。所谓数据治理,就是处理数据的策略,即如何存储、访问、验证、保护和使用数据。数据治理必须涵盖数据的全生命周期,即从数据的获取、存储到管理、应用再到归档、删除的全流程。
按照数据生命周期的特点,可以将数据治理策略分为三个部分,即数据的获取和存储、数据的管理和安全、数据价值的释放。
策略一、数据的获取和存储
数据生命周期管理的起点,是数据的获取和存储,这也是数据治理最先面对的环节。若要解决统一视图、跨业务共享的问题,需要对数据资源制定标准、建立模型,并确定元数据和主数据的存储方式,可概括为数据标准管理、数据模型管理、元数据管理、主数据管理四个方面。
数据标准管理可确保大数据平台数据的完整性、有效性、一致性、规范性,推动数据共享开放。数据模型管理将所有数据纳入统一视图,便于数据整合。元数据管理实现关键信息的追踪、记录和快速检索。主数据管理实现跨系统使用一致的和共享的主数据,降低成本和复杂度。
策略二、数据的管理和安全
如何对数据进行管理、评估和共享呢?这便进入数据治理的第二阶段,即数据的管理和安全,该阶段的主要措施可概括为质量管理、安全管理、共享管理等三个方面。
质量管理帮助金融机构获得干净、结构清晰的数据,极大提升数据质量;安全管理确保数据资产在“存、管、用”等环节中的安全,做到“事前可管、事中可控、事后可查”;数据共享管理通过搭建统一共享平台,打通跨部门共享瓶颈,提高利用价值。
策略三、数据价值的释放
数据治理的最终目的是释放数据价值。数据价值管理是数据治理体系中的关键环节,是对数据内在价值的度量,主要从数据资产的分类、使用频次、使用对象、使用效果等方面计量。数据价值管理可以实现数据成本的有效控制,优化数据服务方式,提高数据应用价值。
以上各个环节之间环环相扣,只有紧密协同才能发挥更大作用。完善的数据治理体系帮助金融机构找准高质量数据、深挖高价值数据,最终实现数据资产效益最大化的目标,解决金融机构的数据治理之“困”。
软件定义存储助力数据治理体系建设
为构建数据治理体系,金融机构不仅要结合业务需求合理规划,更要依托信息技术梳理数据内容、安全存储数据、高效利用数据,存储系统必然是重要支撑。
现阶段,多数金融机构倾向于通过搭建数据湖(Data Lake)来存储包括结构化、半结构化、非结构化数据在内的数据资源,以供上层调用。这样一来,软件定义存储(Software Defined Storage,简称SDS)在金融机构数据治理体系中,无疑扮演着重要角色。那么,什么是软件定义存储?软件定义存储、数据湖、数据治理之间有何关系呢?
本质上,软件定义存储是提供存储功能和特性的软件,它将数据从硬件架构上解放出来,使用户专注于数据蕴含的价值。软件定义存储通过统一的虚拟管理平台,与前端应用、管理程序、物理空间进行交互,极大简化数据管理。数据湖是以自然格式存储的数据的系统,一般包括结构化数据、半结构化数据、非结构化数据和二进制数据等全部原始数据资源。简而言之,要实现数据存储和管理的优化,基于软件定义存储搭建统一数据湖无疑是极佳的选择。
图1:基于SDS的数据管理架构图
软件定义存储以分布式架构、弹性扩展、海量数据支撑、管理运维简单等优势,帮助金融机构搭建稳定可靠的数据平台,轻松实现海量数据的存储和管理,依靠AI后处理框架挖掘数据价值,成为金融机构治理数据的好帮手。主要体现在以下几个方面:
优势一、解决海量存储需求
针对金融机构缺乏统一数据视图、存在数据孤岛等问题,软件定义存储因其抽象化、池化等特性,从根本上解决了这类问题。软硬件解耦使得存储软件不再依赖于专有硬件;通过虚拟化,将物理存储空间虚拟成统一资源池,建立统一命名空间,构建多业务共享的数据湖;
其全分布式架构,弹性扩展灵活,支撑EB级容量,满足金融机构对容量、性能等需求。
优势二:解决智能管理需求
软件定义存储提供丰富的API,根据业务应用要求,自动按需部署存储资源,实现基于存储策略的自动化管理目标,极大地简化管理,节省基础设施投入,降低运维成本。其自定义管理的策略,实现生命周期自动化管理;通过智能缓存、数据分层等特性,让存储介质“物尽其用”,在数据访问性能和存储成本之间实现平衡。
优势三:解决释放数据价值需求
伴随AI技术的兴起,数据治理开始向“智能化”转变。与传统存储不同,软件定义存储能够实现内容感知,配合前端应用对海量数据进行大数据分析和价值挖掘。以杉岩数据为例,其对象存储产品中集成了AI后处理框架,支持包括OCR识别、票据识别、人脸识别、语音识别等AI插件,帮助金融客户更好的实现AI赋能和价值挖掘;同时还支持 Hadoop、Spark等大数据分析系统,充分释放数据价值。
面对诸多难题,软件定义存储帮助金融机构打造智能化的数据治理平台,解决数据的存储、管理、共享等一系列问题,极大地提升数据治理水平,为数字化转型提供有力支撑。
数据中台解决方案助推金融机构数字化转型
在金融机构数字化转型中,每家机构业务基础不同、战略重点不同,数字化转型中是不能套用一套模板的,需结合宏观架构和具体应用场景进而深入融合,才能助力金融机构在全面数字化转型中夯实“科技+开放”能力,与金融机构共建数字金融快车道,提升金融服务实体产业的质效。金融非结构化数据中台解决方案就是这样一个代表性的方案。
图2:金融非结构化数据中台解决方案拓扑图
数据中台解决方案,以软件定义存储作为能力后台,为数据中台提供存储支撑。基于分布式架构搭建统一存储池;通过生命周期管理、智能QoS等实现自动化管理;集成AI后处理框架,整合金融机构的 AI 能力,将数据价值最大化释放,为金融机构提供数据治理的技术支撑。
数据中台解决方案能够帮助金融机构解决数据孤岛、实现数据有序治理和高效利用。
一.实现能力平台化,使数据的存储、共享趋于服务化。面对需求变化,快速响应开发,通过数据与应用深度融合实现一次处理、多处应用,避免重复开发带来的效率损失。
二.解决数据孤岛问题。可实现跨业务检索、数据共享更加便捷,便于数据整合分析。解决业务性能弹性扩展,轻松支撑EB级容量、百亿文件高并发访问。
三.实现统一的基础设施资源管控,让数据治理更加场景化、模式化、体系化、标准化。统一的数据管理,保障数据完整性、准确性和一致性,减少重复收集造成的资源浪费和数据冗余。数据的规范共享,提升数据利用效率和应用水平,实现数据多向赋能。
金融科技蓬勃发展,金融业正处于以科技赋能实现大发展、大变革的关键时期。数据作为战略资源,加快数据治理进程、完善数据治理体系已经成为金融机构的重要工作。数据治理的核心环节是数据应用,要从算力、存储、网络等维度加强技术支撑,切实增强数据应用能力。对存储而言,探索、交叉融合、数据安全等数据存储方案是稳步推动分布式数据库金融应用的基石,实现数据高效存储和智能管理是目标。
在金融科技驱动的数字化转型进程中,一些金融机构已取得突破,如:中国金融认证中心、广发证券、中国人民保险、招行信诺等,基于数据驱动业务发展需求,采用数据中台解决方案,提升了一站式技术能力、统一数据管理能力、快速配置开发业务能力,通过数字化转型带来了数据融合和技术融合,满足了数据中台的建设需求。
金融业的数字化转型的快速发展,离不开像华为、杉岩数据等云计算企业,大家深刻认识数据资源对金融业数字化转型的重要意义,切实助力金融业把数据存储、管理、应用做到按需规划,推动金融业向数字化的落地。国产自主研发的软件定义存储作为数据存储+数据共享的平台,为金融业提供了更快的性能、更高的灵活性和开放性、更强的扩展性,实现更便捷的管理、更简单的运维以及更少的投入,帮助金融机构“数据治理”驶入快车道。
(文/ 杉岩数据CTO 邱尚高)
原文地址:https://blog.51cto.com/14636092/2472689