数据中台不是技术平台,没有标准架构!

2019 年,一场组织变革的风暴席卷了阿里、腾讯、百度、京东等国内互联网公司,在未来的转型计划中,他们不约而同地提到了一个词——数据中台,甚至表示将数据中台上升为核心方向,并基于此做了企业组织架构调整。

世间诸事大抵如此,火爆的东西总是容易被模仿、被跟风,所以当“数据中台”的热风吹起时,我们看到了很多不同类型的公司都声称自己可以搭建数据中台或是数据中台的一部分,这其中当然免不了有些是跟风、够概念。如何区分跟风与实干,数据中台到底是什么?我们对话了 Kyligence 联合创始人兼 CTO 李扬,请他谈谈他对数据中台的理解。

在采访中,李扬坦然表示先前对于国内风靡的数据中台也没有深刻认识,最近专门做了一些功课,发现数据中台并不是一个全新的概念,2016 年他去都柏林参加了 Hortonworks 举办的 Hadoop Summit 活动,当时 Hortonworks CEO RobBearden 带来的第一个 keynote 分享就是“Data is  Transforming the World of Business”,这其实与现在的数据中台有异曲同工之妙。

数据中台起初是个企业管理概念

很多人都知道“中台”这个名词,在国内最早是由马云提出来的。2015 年,马云参观了一家芬兰游戏公司——Supercell,观察到 Supercell 每个游戏开发的小团队都只有六七个人,但是他们开发新游戏的速度特别快,同时放弃游戏也很快。而能够做到这一切的主要原因是他们把游戏开发过程中用到的一些通用的游戏素材和算法整理出来了,作为工具提供给小团队使用,同一套工具可以支持多个游戏研发团队。

马云发觉这种方法很好,不久之后,阿里就成立了一个数据中台的团队,“数据中台”这个名词也渐渐在国内流行起来,在公开场合中谈数据中台的企业也多了起来,原因也很简单,大家都想往更新、更热的概念上凑,增强用户购买欲、推动业务增长。

但李扬认为从数据中台的由来来看,数据中台首先是个企业管理概念,“主要是通过复用数据资产来驱动前线业务的高速创新和改造,如果要是让我给数据中台下个定义的话,从企业管理层面来看,我认为数据中台是个组织,它提供 3 个方面的东西:共享的数据服务(Data-as-a-Service)、集中治理数据资产(Goverance)、用数据改造业务(Data changes business)。”

如果从企业管理概念出发,理论上来说,不使用 IT 技术也可以完成数据中台。举个不太恰当的例子,假设我们汇总了纸质报表,进行人工审核,并从中得到了某些趋势洞察,进而改造了多条前线业务,那么这些纸质报表也可以称之为“数据中台”。

数据中台的出现是有其时代背景的,如果市场处于空白期,我们根本就不需要数据来辅助决策,当红利期过后,存量市场变得越来越小,这时企业之间就要比拼谁的服务质量更高、谁的成本更低、人效更高。于是,就出现了之前爆火的信息化,企业从手工作坊式转型到用电子系统来管理。当企业完成了内部的组织架构调整和信息化之后,并且简单的、侵略性的市场推广不再奏效时,才适合聊数字化驱动前线业务的高速创新增长,也正是在这个时间节点才会出现“数据中台”这样的概念。

数据中台过渡到技术概念

从数据中台的由来看,它是个企业管理概念,为什么很多人在谈到“数据中台”的时候都谈到技术呢?李扬解释道:“在信息化时代,负责数据中台的组织的主要职责就是维护数据、并提供数据服务,而他们使用的工具通常是电子信息相关的技术,所以很自然的,数据中台就会从一个企业管理概念过渡到技术概念。”

从技术概念来看,数据中台和另一个平行概念有点相像——数据平台。如果非要在技术概念的层面给数据中台下个定义,数据中台就是以驱动业务为目的的数据平台。对应前文提到的数据中台包含的三个内容,数据平台本身就提供共享的数据服务和集中治理数据资产。

所以数据中台和数据平台的区别就在于是否以数据驱动业务为目的,并不是所有的数据平台都有此目的,例如 Data Lake 是整个数据链条中比较靠底层的部分,它不是直接来驱动业务的,而是为了向上上一层的数据仓库或者更上层提供数据,所以,Data Lake 不能称之为数据中台,顶多可以称为数据中台的一部分。

想要实现数据中台需要经历哪些阶段呢?李扬认为关键的有三步:第一步,需要有个完整的地方把所有数据串联起来;第二步,数据需要打通,并被整理好;第三步,数据要能够驱动业务增长。其中,只有第二步和软件架构有关系,其它两步与软件架构的关联都不是那么紧密,第一步是信息化,第三步与管理层更紧密。

数据中台中包含了很多系统,如果非要划分一下数据中台的组成部分,李扬认为一种典型的设计可以分为三层,从最底层到最上层分别为:Data Lake、Data Warehouse 和 Data Mart,再往上面就是对接 BI。比如 Kyligence 就提供有下一代的智能数据仓库产品,处于 Data Mart 或 Data Warehouse 的定位,负责底层大数据与上层 BI 的高速对接,释放数据生产力,赋能前线业务。在 Kyligence 接触的客户中,已经有不少企业内部建立了中台的项目,Kyligence 也被贴上了“中台供应商”参与其中,而我们提供的技术方案实质并没有因为中台这个概念而发生变化。

谈数据中台的企业与数据中台的关系

前文提到现在谈数据中台的企业特别多,如果我们把这些企业稍稍分类一下,大致可分为三类:第一类是做大数据营销、SaaS 企业,第二类是数据库、数据仓库、开发平台类企业;第三类是外包咨询类软件企业。当然,这些企业中不乏有炒概念的,但除去这些,我们来看看这三类企业和数据中台有哪些联系?

大数据营销、SaaS 企业:这类企业主要提供的是共享的数据服务,即 Data-as-a-Service。如果更加直白的来说,它们具备一定的数据能力,是一个工具可以被用来建设数据中台。当他们理解了用户的业务增长方式,并把这种增长方式与其 SaaS 产品结合起来,那么勉强可以成为数据中台,否则他们永远提供的是数据服务。

数据库、数据仓库、平台开发类企业:数据库其实是在数据中台更低一层的系统,企业因为信息化的历史周期不同,会沉淀非常多的数据系统。如果我们认可了前面数据中台从最底层到最上层分别为 Data Lake、Data Warehouse 和 Data Mart,那么数据库、数据仓库等企业只能是数据中台的一部分,无法成为一个完整的数据平台。

外包咨询类企业:与前两类企业相比,这类企业提供的更多的是一个解决方案,根据客户定制化需求交付产品。同时也可能是对“数据中台”概念理解最深刻的一类企业。

数据中台是个新概念吗?

数据中台是个新概念吗?李扬认为在国内是,但全球来看并不是。早在三年前,Hortonworks 在都柏林举办 Hadoop Summit 活动,其 CEO RobBearden 带来的 keynote 分享“Data is  Transforming the World of Business”就与数据中台有异曲同工之妙。由于国外数字化建设进程总体领先,在数年前就提出了数据驱动商务革新的概念,仅大会上提到的案例就覆盖了风控、医疗、智能汽车等多个领域。现在只是国内恰好发展到这一阶段了,数据中台的概念适时被提出来了,它的精妙之处在于指出了我们已不再处于野蛮生长的状态了,而是需要使用精细化来提高质量、实现下一轮增长。

“数据中台是个很精炼的概念”,李扬这样解释数据中台,“数据指出了原动力,中台前台的概念中,前台指的是业务线,而中台就是在支撑业务线,代表数据赋能业务的意思。只用四个字就概括出了数据为核心、平台为支撑、驱动前线商务变革,这三层意思,成功地在业务和技术之间建立了一个沟通的桥梁。”

如果数据中台不再是个新概念,那么它带来的主要变化是什么?李扬表示:“当一个组织、企业喊出了要建设‘数据中台’的口号,那么最大的变化就在于该组织决心要用数据去改造业务了。”

“数据中台的建设一定会伴随着企业组织架构调整,这才是真正切到了数据中台的关键。”李扬表示。首先,企业组织架构很明显的变化会是,之前负责数据的部门或团队可能缺乏话语权,但是建设数据中台之后,数据中台团队化被动为主动;其次,之前数据团队的主要工作是项目管理、需求管理等等,现在可能还需要研究业务、数据和模型等;第三,数据中台团队要从传统的支撑角色逐步向运营角色转变。

当人人都在谈数据中台时,它会是一个通用的存在吗?“绝对不会有通用的数据中台,除非两家公司所有的业务都一模一样,”李扬认为:“不要试图把中台做成一个标准的架构,那不现实,因为每家的业务都不一样。最好的情况是提供一个参考架构,在此基础上定制出自己的框架,这也是为什么架构师是个脑力活,如果每个架构都是标准化的,那架构师的工作也就不值钱了!

原文地址:https://www.cnblogs.com/landv/p/11730209.html

时间: 2024-10-05 14:18:34

数据中台不是技术平台,没有标准架构!的相关文章

宜信敏捷数据中台建设实践|分享实录

内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus.Wormhole.Moonbox.Davinci等,在技术社区内得到了广泛关注和好评.这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又是如何驱动各种日常数据业务场景的? 本次分享对这些问题进行了回答,同时重点分享了宜信敏捷数据中台的设计.架构以及应用场景,提出一种敏捷数据中台的建设思路,

数据中台:宜信敏捷数据中台建设实践|分享实录

内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus.Wormhole.Moonbox.Davinci等,在技术社区内得到了广泛关注和好评.这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又是如何驱动各种日常数据业务场景的? 本次分享对这些问题进行了回答,同时重点分享了宜信敏捷数据中台的设计.架构以及应用场景,提出一种敏捷数据中台的建设思路,

营销数据中台白皮书

文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 来源 | 秒针系统(公众号ID:miaozhensystems) 编者按:2018年,DMP.CDP.CEM.Data Lake突然引起市场关注,「数据中台」更是成为大中型广告主的数字营销标配. 「数据中台」最早是由阿里提出,对标国外「Data Lake」(数据湖)的概念.该概念提出的背景是因为阿里生态系中淘宝.天猫.蚂蚁金服.盒马鲜生等业务板块每天产生大量有价值的数据,要实现在不同业务群间做到数据

袋鼠云数据中台专栏2.0 | 数据中台综述:三个维度看数据中台

一.关于数据中台的9个名词 数据中台是什么,当前有很多解释,但是它一定不是哈姆雷特. 新兴的事物总会被各种解读,但是当人们足够熟悉了以后,总会有一个公允的定义得到广泛的认可和接受.这个过程中,最可以用于度量的便是「功能定义」与「业务价值」.袋鼠云认为,数据中台表现出的最主要特征是一种企业数据化体系的架构,而且就目前而言,这种架构是最为有效的一种架构. 目前很多人把数据中台直接等同于企业数据化,AI和大数据,或者是直接的业务价值,甚至企业变革(比如新零售).这些都是不准确的,数据中台的价值被过于放

数据中台从何而来

DT时代,大数据成为人们谈论的焦点,2019年更被誉为数据中台元年.人人都在谈数据中台,却不是所有人都清楚,从历史逻辑来看,中台或者数据中台从何而来? 少数清楚这段历史的人中,有一位大数据老司机,人称「才院长」,他是回答这一问题的最佳人选. 他叫才言.奇点云首席战略官,9年大数据老司机,「数据交换区」专利操盘手. 9年之前,才言初次踏入阿里巴巴大门.对才言来说,揭示未来趋势是个脚踏实地的研究历程,与其研究复杂的经济结构变化,不如抓住简单而明显的趋势,阿里巴巴是一个趋势,而数据则是下一个. 数据中

奇点云数据中台技术汇(一)DataSimba——企业级一站式大数据智能服务平台

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

奇点云数据中台技术汇(一) DataSimba——企业级一站式大数据智能服务平台

在这个"数据即资产"的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台--DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要"采

数据中台技术汇(二)| DataSimba系列之数据采集平台

继上期数据中台技术汇栏目发布DataSimba--企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台. DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理. DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样: 1.企业使用的数据库类型多且杂, 包括很多非主流的数据库: 2.企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断

奇点云数据中台技术汇(三)| DataSimba系列之计算引擎篇

随着移动互联网.云计算.物联网和大数据技术的广泛应用,现代社会已经迈入全新的大数据时代.数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产.如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点. 传统的数据处理方式通常是将数据导入至专门的数据分析工具中,这样会面临两个问题:1.如果源数据非常大时,往往数据的移动就要花费较长时间.2.传统的数据处理工具往往是单机模型,面对海量数据时,数据处理的时间也是一个很大