奇点云数据中台技术汇 | 数据治理——企业数字化转型的基石

1 为什么要进行数据治理?

首先,数据是有价值的。根据埃森哲发布的“2035年之前各行业的平均GDP增长率”,单纯看自然增长,制造行业只有2.1%,但是通过数据以及由此衍生出来的人工智能加成之后,这个数字就晋升到第二名4.4%,数据的价值是相当可观的。

但是,数据的应用环境是有风险的。Facebook的个人隐私泄露事件,直接导致Facebook市值缩水640亿美元,扎克伯格也受到国会质询。

此外,数据的应用环境是低效的。为什么数据的应用环境是低效的?一是数据不可知,用户不知道自己有哪些数据,也不知道这些数据和业务有什么关系,虽然意识到了大数据的重要性,但是没有能解决自己业务所面临问题的关键数据或不知该如何寻找这些数据。二是数据不可用,数据需要一个漫长的开发过程,导致业务分析的需求,难以被快速满足。三是数据不可控,没有统一的数据标准导致数据难以集成统一,没有质量控制导致海量数据难以被利用,没有有效管理整个大数据平台的管理流程。

从上面三点的分析,就得出了我们数据治理的一个目标就是:合规、高效地产生数据价值。建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系, 从全机构视角协调、统领各个层面的数据管理工作, 确保内部各类人员能够得到及时、准确的数据支持和服务。

2 如何合规、高效地产生数据价值?

我们认为要合规、高效地产生数据价值一定不仅仅是技术层面的事情,而是需要构建全生命周期、全深度、全方位的治理体系,包括数据治理组织体系、数据治理工具、数据治理管控流程三大层面。

通过数据治理组织建立管理办法、制定工作流程、确定角色职责。数据治理工具主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理,各模块协调运营,确保数据平台的数据一致、安全、有效。数据治理管控流程贯穿整个数据治理体系的流程中,实现平台化的数据管理思路。

3 数据治理组织体系

数据治理组织的构建旨在通过建立数据治理组织架构,明确各级角色和职责,保障数据治理的各项管理办法、工作流程的实施,推动数据治理工作的有序开展。

整个数据治理的组织结构可以分为三层:

1.数据治理委员会:数据管理的决策者。负责牵头数据治理工作,制定数据治理的政策、标准、规则、流程,协调认责冲突。

2.数据治理中心:数据平台的运营者。负责提交数据标准的要求及数据质量规则和业务规范,监督各项数据规则和规范约束的落地情况,并负责数据治理中整体数据的管控流程制定。

3.各业务部门:数据提供者、数据维护者、数据消费者。负责具体执行事项。

4 数据治理管控流程

数据治理管控流程是为了让方案能真正有序的落地,以数据标准制定为例:

数据标准管理协调者组织数据提供者和执行者参与数据标准属性的收集和整理工作,并按照企业实际情况协商出数据标准初稿。

数据标准初稿进行多次的讨论和丰富后,形成数据标准审核稿提交至数据标准管理决策者。

经过数据标准管理决策者的讨论审核后,由数据标准管理协调者再次进行数据标准的修改完善,并完成数据标准的发布。

5 数据治理管控工具

工欲善其事,必先利其器。数据治理管控工具是为了帮助企业更好地将规范执行落地。通常认为, 数据治理至少应当涵盖如下功能域:数据资产管理、数据标准管理、元数据管理、数据质量管理、数据运维管理以及数据生命周期管理等。

? 数据标准:在数据治理组织架构推动和指导下,遵循协商一致制定的数据标准规范,借助标准化管控流程得以实施数据标准化的整个过程。

? 元数据:采用集中式管理模式进行元数据管理,企业元数据逻辑集中,即元数据管理模块作为公司元数据的统一发布源,集中管理元数据,提供元数据集中创建、维护、查询功能。

? 数据质量:对数据从计划、获取、存储、共享、维护、应用、消亡等生命周期的每个阶段可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

? 数据资产:规划、控制、提供数据及数据资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、提高数据资产的价值。

? 数据安全:通过计划、制定、执行数据安全政策和安全策略措施,为企业数据提供行之有效的认证、授权、访问和审计。

? 数据运维:包括数据资产运维、数据质量运维,可借助运维工具来整体提升企业数据运维效率。

6 结语

在数据资产价值被高度认可和开发利用的今天,数据治理不仅仅需要作为一项管理职能在企业内贯彻执行,也应该成为一种企业文化。企业各层级的数据管理人员必须不断地沟通、教育和推广数据资产价值的重要性以及数据治理职能的业务贡献。提升数据使用者对数据治理的意识及对数据治理效益的认可程度,是以持续改进企业数据管理机制,充分挖掘企业数据价值,提升企业核心竞争力。

原文地址:https://blog.51cto.com/14386859/2430254

时间: 2024-07-29 11:31:39

奇点云数据中台技术汇 | 数据治理——企业数字化转型的基石的相关文章

奇点云数据中台技术汇(一)DataSimba——企业级一站式大数据智能服务平台

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

奇点云数据中台技术汇(一) DataSimba——企业级一站式大数据智能服务平台

在这个"数据即资产"的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台--DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要"采

数据中台技术汇(二)| DataSimba系列之数据采集平台

继上期数据中台技术汇栏目发布DataSimba--企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台. DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理. DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样: 1.企业使用的数据库类型多且杂, 包括很多非主流的数据库: 2.企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断

奇点云数据中台技术汇(六)| 智能算法助力企业效率升级

移动生产力和传统企业困境 纵观历次生产力革命,都是从生产者的技术革新开始,最后波及到消费者.几次工业革命中,能源和制造工艺的升级极大地提高了生产效率,并且创造了大量的新工种,最终提升了消费者的生活质量,促进一轮又一轮的消费升级.最近的信息技术革命,互联网最先使用在国外的大型工业产业,之后普及到社会生活中,才带来了无数次的生产力提升的机会和挑战. 然而,移动互联网生产力的产生和发展却不同,它产生于消费端而不是生产端.移动互联网生产力带来了两个核心能力: 1. 分布式,去中心化 2. 缩短信息传播路

数据中台技术汇 | 智能算法助力企业效率升级

移动生产力和传统企业困境 纵观历次生产力革命,都是从生产者的技术革新开始,最后波及到消费者.几次工业革命中,能源和制造工艺的升级极大地提高了生产效率,并且创造了大量的新工种,最终提升了消费者的生活质量,促进一轮又一轮的消费升级.最近的信息技术革命,互联网最先使用在国外的大型工业产业,之后普及到社会生活中,才带来了无数次的生产力提升的机会和挑战. 然而,移动互联网生产力的产生和发展却不同,它产生于消费端而不是生产端.移动互联网生产力带来了两个核心能力: 分布式,去中心化 缩短信息传播路径 在消费端

奇点云数据中台技术汇(三)| DataSimba系列之计算引擎篇

随着移动互联网.云计算.物联网和大数据技术的广泛应用,现代社会已经迈入全新的大数据时代.数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产.如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点. 传统的数据处理方式通常是将数据导入至专门的数据分析工具中,这样会面临两个问题:1.如果源数据非常大时,往往数据的移动就要花费较长时间.2.传统的数据处理工具往往是单机模型,面对海量数据时,数据处理的时间也是一个很大

奇点云数据中台技术汇(四)| DataSimba系列之流式计算

你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策? 市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低.因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理. 一:sparkStreaming+hbase整合应用,助力企业实时运营监控 对于不作更新的数据,可以通过datax

奇点云数据中台技术汇(九)| 如何建设数据安全体系?

数据安全是实现隐私保护的最重要手段之一.数据安全并不是一个独立的要素,而是需要连同网络安全.系统安全.业务安全等多种因素,只有全部都做好了,才能最终达到数据安全的效果. 随着AI.DT时代的来临,传统企业越来越重视数据,并逐步的开始对内部数据的进行互联,其核心是通过数据的集成.同步,来连接各个业务系统的流程以及通过对数据的二次加工,创造更大的价值. 本质上,数据作为一种生产资料,加入到企业的生产过程中,并成为重要的能源.但数据本身,在生产过程中可能因人为管理的不善.生产过程的控制不善带来各类风险

数据中台技术汇 | DataSimba系列之流式计算

你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策? 市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低.因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理. 一:sparkStreaming+hbase整合应用,助力企业实时运营监控 对于不作更新的数据,可以通过datax