数据中台技术汇 | 智能算法助力企业效率升级

移动生产力和传统企业困境

纵观历次生产力革命,都是从生产者的技术革新开始,最后波及到消费者。几次工业革命中,能源和制造工艺的升级极大地提高了生产效率,并且创造了大量的新工种,最终提升了消费者的生活质量,促进一轮又一轮的消费升级。最近的信息技术革命,互联网最先使用在国外的大型工业产业,之后普及到社会生活中,才带来了无数次的生产力提升的机会和挑战。

然而,移动互联网生产力的产生和发展却不同,它产生于消费端而不是生产端。移动互联网生产力带来了两个核心能力:

  1. 分布式,去中心化
  2. 缩短信息传播路径

在消费端,移动互联网连接起海量的消费实体,通过一种自发的组织方式,实现了去中心化。消除了之前的生产力单点瓶颈,使得消费规模呈指数级增长。分布式的组织形式同时提供了消息传递的极短路径,使得销售活动可以非常高效地组织起来,同时增加了消费链路的透明化,推动消费力极大提升。

受互联网发展的影响,消费端的需求逐渐提升,给生产端带来越来越大的产能压力。生产端产能升级迫切需要,生产力的再平衡如箭在弦上,不得不发。如何利用移动互联网的技术优势和越来越丰富的人工智能算法能力,在生产端发力,提升生产效率,成为了一个越来越重要的命题。同时生产关系随着消费者和生产者的效率升级,也需要重构,而线下的很多传统企业多年打造的复杂系统,面临着巨大的挑战。

基于这个命题,奇点云提供了数据化智能解决方案。在很多行业不断打磨、沉淀,深度尝试移动互联网技术和AI算法,形成了前沿的创新型算法模型,大幅度提升线下生产力效能,重构生产关系。新的商业模式,一切为了效率。

数据质量这么差,企业如何数字化升级?

在过去的10年,移动生产力通过对人货场的信息流改造,极大地提高了线上消费场景的效率。但是线下,却看不到信息流全面覆盖。大量的传统行业还是停留在原始的人工运营为主的情况,少数建立了孤立信息系统。在大数据时代,传统企业,仍然摆脱不了缺乏数据的魔咒。这种数据的欠缺主要表现在两个方面:

1.线下运营和管理的数据存在独立的MIS系统中,且深度耦合业务,数据孤岛很难打通。

2.线下的用户行为单一,目前还没有完善的收集跟踪用户在线下交易的完整行为链路,对于用户的偏好和厌恶很有具有说服力的数据来支撑。

基于这样单薄稀疏的数据,在人货场的任何场景都很难有大幅度的效率提升,只能自动化最基础的工作,和线上的智能化、数据化相去甚远。

针对这些问题,奇点云的数据中台服务通过整合数据孤岛,并结合行业知识,设计行业数据模型,打通不同部门的数据,同时也打通了不同部门的业务。结合我们的能力,企业就可以完全实现:从无数据,到能自主地生产数据。生产是动态的、源源不断的,这也是企业未来数字化转型的数据基础之一。

但是,线下用户稀疏而单一的行为数据,仍然是目前AI落地传统行业的重大障碍。

为了解决数据的问题,主要有两个方向,丰富线下的端和提高一方数据的利用效率:

1.我们开发的智能魔柜、魔镜、识客系统是很好的用户线下行为的采集终端。同时,随AI时代来临带来的更强大的算法模型,被用来更加高效的处理线下稀疏的数据。

2.企业的一方数据主要是销售数据和会员数据等。这些原始数据维度单一、低周转的商品还存在稀疏的问题。经过在大量项目的实践,针对这两个问题我们总结了可靠的方法论:

(1)维度单一:我们可以通过增加模型对相关联特征的衍生挖掘,补充更多维度的特征;

(2)数据稀疏:我们可以通过解耦和建立子模型的方式,通过简单模型融合、跨任务融合的方式,提高模型效果。并结合深度神经网络的结构化数据挖掘优势,线下数据的诸多问题都被弱化,甚至基本解决。

实战打磨,AI助力企业智能升级

目前我们积累了大量的实践项目,帮助传统企业更好地使用自己数据,挖掘线下数据的价值。

销售数据是线下用户行为的最主要来源,但类比线上的数据:点击、购买、收藏、加购,显得单一且稀疏。而且线下数据缺乏负样本的支持,使得传统的监督学习在使用到线下数据场景上尤为困难。

奇点云大数据算法团队目前有两把尖刀,在真实的线下数据场景中取得了不错的效果。

  1. 无监督画像:通过建立经验概率模型,结合行业中实体关系,建模实体概率模型并求解。从POS单中挖掘了人-货-场多个维度的画像。通过聚类分析和人工解释,洞察出了各个维度画像之间隐藏的可解释关系。一方面,可以提供商家更加丰富灵活的运营手段;另一方面,可以作为特征加入模型,解决稀疏数据的泛化性问题,在智能调补货、智能排班、智能定价模型中,对于需求预测的准确率提高效果显著。
  2. 需求预测和分析:线下场景的一个重要应用就是用户需求预测,需求预测可以提升供应链效率、提升企业内管理效率、提升运营质量。基于数据中台的需求预测可以辅助企业的决策层做出更加合理的经营决策。所以,需求预测的准确性非常重要,国外制造业的领先公司,都对需求预测投入了大量成本,1%的需求预测准确率提升,会带来10%-20%的净利润提升。

奇点云算法团队通过对不同行业销售数据的深入分析,研究了时间序列、boosting、深度模型等多种方法,全面对比了不同方法在不同场景下的效果。发现其实销售数据只是表象,根本的是背后的业务逻辑,不同销售属性的产品,其数据的分布有巨大区别,数据之间的勾稽关系更是天壤之别,适用的算法也决然不同。我们从“分”到“合”提出了解决方案:

1.从“分”的角度,我们结合行业的不同情况,对需求预测问题分解,针对同一个行业中不同的行为,对需求预测再次分解。

2.从“合”的角度,我们合并行业间的通用问题,合并问题间的通用解决方案。形成了零售、鞋服、综合体等多个领域的需求预测解决方案。

需求预测不是一个简单的预测问题,还涉及到业务交互和理解。奇点云需求预测平台:支持业务可理解的需求解耦、需求重塑。提供给运营人员和企业高层对业务更加深入的洞察角度,和制定经营计划的精准打击武器。

商业战场,瞬息万变,我们的算法工具,不能呼风唤雨,却可以预测未来。成败之间,细节为王。借助数据中台、数据分析、移动互联网算法技术,奇点云算法平台希望能成为企业的核心王牌,帮助侧重线下场景的企业能笑到最后。

原文地址:https://blog.51cto.com/14386859/2421648

时间: 2024-11-11 03:04:19

数据中台技术汇 | 智能算法助力企业效率升级的相关文章

奇点云数据中台技术汇(六)| 智能算法助力企业效率升级

移动生产力和传统企业困境 纵观历次生产力革命,都是从生产者的技术革新开始,最后波及到消费者.几次工业革命中,能源和制造工艺的升级极大地提高了生产效率,并且创造了大量的新工种,最终提升了消费者的生活质量,促进一轮又一轮的消费升级.最近的信息技术革命,互联网最先使用在国外的大型工业产业,之后普及到社会生活中,才带来了无数次的生产力提升的机会和挑战. 然而,移动互联网生产力的产生和发展却不同,它产生于消费端而不是生产端.移动互联网生产力带来了两个核心能力: 1. 分布式,去中心化 2. 缩短信息传播路

数据中台技术汇(二)| DataSimba系列之数据采集平台

继上期数据中台技术汇栏目发布DataSimba--企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台. DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理. DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样: 1.企业使用的数据库类型多且杂, 包括很多非主流的数据库: 2.企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断

奇点云数据中台技术汇(一)DataSimba——企业级一站式大数据智能服务平台

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

奇点云数据中台技术汇(一) DataSimba——企业级一站式大数据智能服务平台

在这个"数据即资产"的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台--DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要"采

奇点云数据中台技术汇 | 数据治理——企业数字化转型的基石

1 为什么要进行数据治理? 首先,数据是有价值的.根据埃森哲发布的"2035年之前各行业的平均GDP增长率",单纯看自然增长,制造行业只有2.1%,但是通过数据以及由此衍生出来的人工智能加成之后,这个数字就晋升到第二名4.4%,数据的价值是相当可观的. 但是,数据的应用环境是有风险的.Facebook的个人隐私泄露事件,直接导致Facebook市值缩水640亿美元,扎克伯格也受到国会质询. 此外,数据的应用环境是低效的.为什么数据的应用环境是低效的?一是数据不可知,用户不知道自己有哪些

奇点云数据中台技术汇(三)| DataSimba系列之计算引擎篇

随着移动互联网.云计算.物联网和大数据技术的广泛应用,现代社会已经迈入全新的大数据时代.数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产.如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点. 传统的数据处理方式通常是将数据导入至专门的数据分析工具中,这样会面临两个问题:1.如果源数据非常大时,往往数据的移动就要花费较长时间.2.传统的数据处理工具往往是单机模型,面对海量数据时,数据处理的时间也是一个很大

奇点云数据中台技术汇(四)| DataSimba系列之流式计算

你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策? 市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低.因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理. 一:sparkStreaming+hbase整合应用,助力企业实时运营监控 对于不作更新的数据,可以通过datax

数据中台技术汇 | DataSimba系列之流式计算

你是否有过这样的念头:如果能立刻马上看到我想要的数据,我就能更好地决策? 市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低.因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理. 一:sparkStreaming+hbase整合应用,助力企业实时运营监控 对于不作更新的数据,可以通过datax

奇点云数据中台技术汇(九)| 如何建设数据安全体系?

数据安全是实现隐私保护的最重要手段之一.数据安全并不是一个独立的要素,而是需要连同网络安全.系统安全.业务安全等多种因素,只有全部都做好了,才能最终达到数据安全的效果. 随着AI.DT时代的来临,传统企业越来越重视数据,并逐步的开始对内部数据的进行互联,其核心是通过数据的集成.同步,来连接各个业务系统的流程以及通过对数据的二次加工,创造更大的价值. 本质上,数据作为一种生产资料,加入到企业的生产过程中,并成为重要的能源.但数据本身,在生产过程中可能因人为管理的不善.生产过程的控制不善带来各类风险