行在说 | 云+端的整体技术架构才符合企业中台战略需要

5月23-24日,亚太地区最具商业价值的B2B交流平台,Smart Retail 2019智慧零售数字化转型峰会在上海召开。会议聚焦如何帮助零售商和品牌商通过数字化革命驱动销售收入、ROI增长以及消费者体验提升,超过300位来自大中小型零售商和品牌商的高层代表出席。

本次会议,奇点云创始人兼CEO张金银(行在)带来关于“企业中台战略”的演讲。从阿里大数据的进化之路,聚焦如何构建新时代下的中台技术架构,以奇点云服务的实战案例,探讨中台在企业服务的应用。


(行在Smart Retail演讲现场 )

以下是演讲全文:

各位现场的嘉宾上午好!

我是曾在阿里扎根12年的老技术人,04年以“数据仓库专家”的身份加入阿里,16年从阿里出来创立了奇点云。12年实际上是一个很长的职业生涯,我做的技术都是和人工智能、大数据相关。总结起来,我也就做了三件“重要”的事。为什么要定义为重要?因为这侧面可以看到阿里巴巴大数据的发展路径。

「第一件事,负责搭建阿里巴巴的第一个数据仓库。」

最早以前没有数据中台的概念,只有数仓的概念。04年淘宝刚成立,当时淘宝网站这样的业务系统是偏后台的,数据这块偏弱,因为没有成熟的数仓,没有成熟的大数据平台,阿里的同事熬了一个通宵从前端的业务系统里把马总想要的数据抽出来写成一个脚本,然后放到业务的数据库里,这个过程是十分煎熬和耗时。其实For业务系统的和For分析系统的是两回事。因为他的底层设计的架构不太一样,一个要保证高并发 一个要保证跑批的效率 ,于是04年的时候负责搭建阿里巴巴的第一个数据仓库,那时候就让阿里前台业务系统和后台数据系统分开,这样在跑报表的时候,不会影响淘宝网站、聚划算、天猫等业务系统的稳定性。

「第二件事,做了TCIF(淘宝消费者信息库)。」

这是一件很重要的事情,就是把阿里所有的消费者信息整合打通,现在TCIF是整个阿里巴巴数据应用的基础设施,例如广告、推荐、个性化,这些都是基于TCIF之上做的。

阿里从最早以前的单个业务发展到200多个BU ,每个BU就是一个子公司, 例如淘宝、天猫都叫一个BU ,阿里最早B2B,后来2C ,每个BU都有消费者的一些相关信息,以前各个BU都是烟囱式的建设,消费者的信息是不通的,后来我们就起个很大的项目就是TCIF,200多个BU的消费者信息能够打通、沉淀、融合在一起。

由于各个BU各自为战,而业务当时需要把这些分散的人的数据集中起来,进行人群画像。比如说数据的标签化,背后就有投入产出比的考量:通过标签,广告主可以非常方便快捷地去建立自己的人群包,实现精准营销,同时投放的ROI也是可见的、透明的,广告主可以自己去评估数据资产的使用情况。道理很明白,人群画像越清晰,服务就会越精准。

再说我们是怎么做的。

·首先,定义埋点规范,同一个人就用同一个标识,ID打通,也就是所谓的One ID;

·其次,还会碰上一家人使用一个登录帐号的问题,那么就需要建立同人的数据模型,通过一些方式,比如,IP网段是不是一样,来分辨出具体的那个人,建立AID(Alibaba ID);

·再次,每个人还有各种网络行为,要如何把这些行为结构化,装到各种框架里面?这个特别难,我们当时主要是跟人类学家合作,一起把行为的分类树做出来。这个分类树非常细,甚至能够把一个人的发质都结构化了。接下来,就需要通过算法模型,把所有的标签都贴回到人上面。

·最后,比如阿里妈妈的达摩盘就会把这些标签提供给广告主,让广告主能够通过标签去建立人群画像,进行人群细分,以及建立投放用的人群包。

「第三个事,在阿里云数加内部创业,负责基础平台的外化。」

这也算是一次创业,只不过是在阿里内部,将阿里整个大数据平台做了个外化,让阿里的客户也能很好使用。

2009年对阿里巴巴是一个很重要的时刻,因为确认了一个重大的愿景:未来,阿里这家公司是一个数据公司,也就是现在的阿里云。但当时马总召集大家开会宣布时,我们听的都很懵逼,因为觉得我们的电商业务如日中天,为什么是一家数据公司?

好在阿里执行力特别强,虽然不懂也会去执行,所以在09年成立了阿里云。

2015年数加创业小组在云栖小镇成立,因为淘宝商城和淘宝完全独立,除了会员数据之外,所有的系统都是独立的,包括商品、交易、积分、商品管理甚至还有论坛全部是独立的两套体系。在淘宝上注册一个账号,在淘宝商城上还需另外注册一个,面对消费者的体验很不友好。后来起了个叫五彩石的项目,五彩石的项目最重要的就是解决两个问题,把烟囱式的建设变成平台式的建设,统一由一个平台部门来建,然后大家连到上面就可以,一个能够支持前面的会员用一个账号去登录,另一个更重要的就是把会员的信息打通,还有一个最关键的就是让前面的业务创新,变得更加容易。

2014年到2015年,因为有两套技术体系并立,所以阿里内部做了一个决定就是将整个技术体系进行统一,所以启动了“登月”计划。现在MaxCompute开始对内支撑所有的业务,并且也开始对外提供服务。多集群扩展到超过万台,并且开始全球化的部署。

经历了阿里巴巴的大数据之路后,2016年底离职阿里,当时大数据和AI领域有很有大的机会,在云计算和大数据领域拥有非常深厚的技术积淀和实战积累,这么好的机会应该出来创业,毕竟没有创过业的人生是不完整的,所以就自己出来创立了奇点云,进入到自己大数据生涯的第三个阶段。

考察了很多实体经济后,我们认为在线下做大数据和AI,除了做“云”还必须做“端”,主要是想先解决“数据有无”,再解决“数据使用更优”的问题。所以头一年我们研发了很多智能端,弥补线下数据采集的空白。采用了视觉计算获取线下人货场数据,而且我认为,未来90%的数据都来自于视图声(视频、图像、声音)的非结构化数据,这些数据需要视觉计算技术、图像解析的引擎+视频解析的引擎+音频解析的引擎来转换成结构化数据。而奇点云的视觉算法,可通过智能终端自动化采集数据,并用视图声解析引擎将这些非结构化数据转换成高价值的结构化数据,让数据更全面。所以,所有视觉计算的AI公司都应该是大数据公司。

现在市场上号称做数据中台的服务商都只是给客户提供一个工具平台,但是并不能真正解决客户的痛点。我们坚信未来DT架构,就应该是两云一端。最底层包含人脸识别、智能IOT、互联网技术等,基于这些技术之上,支持客户去建设他的业务中台和数据中台,这样的话就能够让前面这一个“端”跑得更快。那这个端可以是任何一个可以和用户发生连接的触点,比如小程序、APP、 网站、门店pos、或者一个呼叫中心、甚至是每一个你面前的智能硬件。这是符合未来趋势的技术架构,能够很快的响应前端快速去创新,并且端上的数据能够沉淀到云上,然后能够去丰富这个云,云再把这些结果赋能到端上去,能够让这个端变得越来越智能。

举个例子,以前消费者去转账,他需要到银行去排队,现在他习惯了就在手机上转账 。但这两个发生的行为,实际上对整个技术的架构,要求是完全不一样的。银行转账,从技术的角度它的并发是可控。因为银行的窗口操办业务,一分钟处理多少笔交易是可控的,而在网上,在手机端、在APP上、在小程序上做转账,这个对我们来说就完全不可控。因为不知道有多少人同时会去做这件事情,所以你必须要把从传统的IOE的架构变成一个分布式的架构。

还有很多人会问中台和传统软件的关系,企业级管理系统比如ERP、CRM等,实际上它更多的是解决企业内部管理效率的问题,中台解决的是前台创新的问题,中台就是为了前台而生的,所以你一定要把这些中台建起来,这样才能够让你的前端业务更好的创新。

我讲两个奇点云曾经服务过的案例,有一个服饰行业内有名的企业找到我们,他有2000家门店,每个门店大概能容纳200个sku,而它工厂有2000个sku,那么问题来了, 我到底哪一家门店摆哪200款sku呢?这个从2000款怎么来挑呢?这实际上在我看来也是一个算法和技术的问题,我们就要把他的门店和他的货品以及进入这个门店周围的消费者做一个画像,把他的货品做个画像,然后把它做精准的去做匹配,就是能够直接帮他们的营收提升这个1—2个点,现在我们还是在不停的去优化这个模型。

另外的一个客户,是亲橙里一家线下服饰淘品牌,为了采集线下门店的数据,我们在这家店布置了多个智能硬件,比如无感的摄像头、奇点魔柜、奇点魔镜……这样会产生一个什么结果呢?就如我刚刚说的,智能硬件能够把店内所有数据像线上一样把它完全“画”出来,知道多少人来了这家店,知道多少人成为会员,然后多少人是新客,多少人是老客,然后这些人最终购买多少,所以整条链路都可以画出来,这样的数据呈现到商家面前,他们才知道应该在什么地方去改进,改进哪个环节。所以它就会变成一个闭环,变成一个可以优化的东西。

基于以上,企业中台战略我建议三步走:第一,战略共识,首先中台是高层应有的共识,这个很重要。这事一定是CEO的工程,而不是一个CTO或CIO工程;第二,组织变革,它的组织一定要变成一个“大中台,小前台”的结构,这样能够支撑前台的端更好的创新;第三、两云一端的技术架构改造,通过底层的技术支撑,我们一定要让中台建起来,并且让前台端能够通过智能硬件,做好数据的回流,做好数据的采集,这样能够端丰富云,云赋能端。因为中台它不仅仅是一个技术,其实更多的是一个业务,如果中台只讲技术,不讲业务,都是大忽悠。

最后,我强调一个观点,我觉得没有数字化和智能化的企业是没有未来的,消费者在变,商业在变,需要有一个足够支撑业务系统的技术架构(两云一端),这样你的企业才能跑的足够快。好,谢谢大家聆听。

原文地址:https://blog.51cto.com/14210996/2399899

时间: 2024-11-10 08:30:39

行在说 | 云+端的整体技术架构才符合企业中台战略需要的相关文章

行在说 | 从阿里巴巴大数据之路看企业中台战略

戳右方链接观看精彩视频从阿里巴巴大数据之路看企业中台战略 视频导读: 提到阿里巴巴,我们首先想到的是一家电商互联网企业,淘宝.天猫.支付宝等一系列平台和产品已经彻底改变了我们的生活.当大数据开启一个时代时,拥有海量交易数据的阿里巴巴就已经认识到这是一座大的金矿,并在众多的电商企业中率先开始了淘金之旅,大数据平台也在其中扮演了非常重要的角色. 本视频是行在(奇点云创始人兼CEO)关于<从阿里巴巴大数据之路看企业中台战略>的分享.他以亲身经历讲述了阿里大数据的演变,大数据部门从组织架构到系统架构所

空格App亿元A轮融资背后:云上多场景技术架构实践与经验

直播视频: (点击图片观看) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/382bc642fc0b621a9368138a74d8fd36.pdf 3月16日云栖社区在线实时分享顺利结束,本次由空格APP技术合伙人刘博分享了空格利用阿里云服务在搜索.推荐和数据挖掘业务场景下的探索实践.本次视频直播的整理文章.视频整理完毕,如下内容. 阿里云在空格 图一 空格服务端整体架构 在空格初始创业阶段,人员十分缺乏,但依靠着阿里云,空格两周便实现APP上线.空格服务端

商家端技术架构实践-曹振团

概述 架构愿景 架构目标 质量要求 架构原则 架构组成 架构关键点 业务架构 设计原则 业务架构图 现有项目 存在的问题 系统风险 应用架构 设计原则 常规做法 应用架构图 数据架构 设计原则 数据架构图 技术架构 设计原则 架构检验总结 监控 熔断测试 压测 演练 故障预测&风险评估 总结 概述 本文档的目的是描述商家端现有的技术架构体系,梳理其中存在的问题,并提出合理的技术架构图. 架构愿景 架构目标 高可用 整体系统的可用性99.985% 各子系统的可用性99.99% 整体系统的全年故障时

业务系统技术架构的方法论

业务类系统(通常称为To B 类产品),一般包括crm,供应链,物流等.系统的架构设计非常具有挑战性. 面向用户的To C 类前台产品,无论产品经理还是用户都已经培养起了使用习惯,对功能有一定程度的理解,见过的模式足够多,能够建立起一定的产品模型,也容易找到参照物去模仿.但是业务类的系统,常常是没有参照和模仿,一些业务流程的不同,一点公司组织结构的不同,你家的CRM和他家的CRM可能完全没有参考性.所以在搭建产品架构的时候则要求产品经理非常懂业务,考验PM能力的同时,对技术架构也具备很大的挑战.

网易视频云分享:流媒体技术介绍(下篇)

网易视频云干货系列--流媒体技术介绍之下篇和大家见面了!上篇的分享从传统流媒体的技术特点等方面进行分析.中篇的分享举例对比了企业方案.本次的分享将主要举例国际技术标准的解决方案,对比分析各自的优缺点. 目前,HAS技术的实现方式从标准的类型来看主要有两大类:一类是企业方案,即提供了整体的技术解决方案,如Apple Live Streaming技术.Adobe Dynamic Streaming技术.Microsoft Smooth Streaming技术:另一类是一些国际标准组制定的技术标准,如

胡泽锐:移动开发即服务——腾讯云移动开发平台技术分享

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 作者:胡泽锐,2010 年毕业加入腾讯,先后负责过QQ空间.网页应用.移动应用.移动游戏相关的工作,有着丰富的平台产品经验以及大前端开发经验,目前在腾讯云负责前端以及终端相关的工作,提出并推动移动开发平台产品的落地. 很高兴能和大家分享移动开发的历史.现状.以及未来,一起探索面向云端的全新模式--移动开发即服务.正因为有了移动开发即服务的理念,才有了移动开发平台这个产品.传统模式下,大家都是以单个产品或者能力的方式提供服务,比如推送的就

混合云场景下容器技术在新能源功率预测产品中的最佳实践

能源互联网是物联网和"互联网+"在能源行业深度融合的产物,是中国制造2025的重要组成部分,我们现在还处于能源互联网的早期阶段.绝大部分能源行业的应用都部署在私有局域网内,并且网络结构异常复杂,这是阻碍互联网技术在能源行业落地的最大挑战. 6月28日,金风科技数据平台架构师张利出席了Rancher Labs举办的Container Day 2018容器技术大会,并做了题为<混合云场景下容器技术在新能源功率预测产品中的最佳实践>的演讲. 金风科技是中国成立最早.自主研发能力最

云·端·创变,AppCan移动云大会圆满落幕

11月27日,2015 AppCan 移动云大会在北京北辰洲际酒店圆满落下帷幕,会议吸引了来自全国各地500余位知名CIO.企业信息化主管.移动领域专家学者.移动创业者代表等全程参与,现场气氛热烈,重磅嘉宾及尖峰观点,将会议不断推向高潮.尤其称道的是,大会主题和内容,紧扣时代脉搏,与国家倡导的互联网+.移动双创.移动互联网化高度契合,会议特别邀请了国家信息中心.国资委信息中心.两化融合等政府领导.整场会议,精彩纷呈,有高度.有创新.有观点.有实践,堪称年度最有看点.最具价值的行业性移动互联网峰会

Web端即时通讯技术盘点:短轮询、Comet、Websocket、SSE

摘要 Web端即时通讯技术因受限于浏览器的设计限制,一直以来实现起来并不容易,主流的Web端即时通讯 方案大致有4种:传统Ajax短轮询.Comet技术.WebSocket技术.SSE(Server-sent Events).本文将简要介绍这4种技术的原理,并指出各自的异同点.优缺点等. 1. 前言 Web端即时通讯技术因受限于浏览器的设计限制,一直以来实现起来并不容易,主流的Web端即时通讯方案大致有4种:传统Ajax短轮询. Comet技术.WebSocket技术.SSE(Server-se