AI干货(一):为什么说基于机器学习的AI预测更智能?

在观远数据“AI+BI”的服务模式中,AI技术作为跨越敏捷分析到智能决策的关键推力,一直以来引起了众多企业客户的好奇与关注。因此我们推出了这一特别企划,希望借此机会与大家分享观远团队关于AI技术的各项认知,并结合我们与500强企业合作的最佳实践案例,为AI技术在零售行业落地提供建议指导。
接下来,就跟着我们一起进入AI的神秘世界吧!

趋势

当下,人工智能已成为科技领域最热门的技术。机器学习、深度学习、人脸识别、无人驾驶、NLP,各种名词不绝于耳。人工智能的应用一方面在不断改变我们每个人的生活方式,另一方面也在逐渐改变着企业的经营模式、决策方式。越来越多的企业经营者、高级管理人员、决策者都在这场了解人工智能的竞赛中感到焦虑,他们意识到,人工智能即将从根本上改变他们的行业。

在这场轰轰烈烈的人工智能浪潮中,我们发现,对于商业企业来说,人工智能并没有给他们带来太多所谓的智能,它带来的是智能的一个关键组成部分——AI预测。

预测是根据事物以往和现今的数据,通过一定的科学方法和逻辑推理,对事物未来发展的趋势作出预计、推测和判断,寻求事物的未来发展规律。预测不仅研究事物的本身,而且还要研究它和环境之间的相互作用、相互影响。预测的过程就是在调查研究或科学试验的基础上的分析过程,简称为预测分析。

预测实际上是一种填补缺失信息的过程。比如将非常规的信用卡交易归类为盗刷,将医学影像中的肿瘤分类为恶性,或是判断当前拿着手机的人是否是真正的机主,即运用你现在掌握的信息(通常称为数据),生成你尚未掌握的信息。这既包含了对于未来数据的时序预测,也包含了对当前与历史数据的分析判断,是更广义的预测。

在人工智能技术介入前,预测早已随处可见,小到个人股票投资,大到企业经营决策、国家制订国民经济发展规划,社会的方方面面无不体现着预测的重要性。而人工智能的飞速发展,将为预测技术提供了更多可行的思路和方案,使得预测的准确度能够得到有效提升,为各行各业提供超越传统统计学分析的决策支持能力。

这当中,更为重要的是,AI预测更廉价。“如果某样东西的价格下降,那么我们会更多地使用它。”——这是最简单的经济学,如今这种情况正出现在预测领域。运算的成本变得足够低,继而帮助我们快速找到成千上万种应用方式。预测成本的下降也将影响其他东西的价值:比如提高互补品(数据、判断和行动)的价值,以及降低替代品(人类预测)的价值。

智能

那么,预测技术发展到如今,何以称得上智能呢?回过头来看,应该归功于更好的数据、模型和计算能力,它们促使预测技术飞速发展,从而走上“智能”之路。机器学习便是功臣之一。

历史上,预测的主流分析方法是使用数据挖掘的一系列技术,而这其中被经常使用的是一种被称为“回归”的统计技术。回归做的是什么?它主要是根据过去发生时间的“平均值”来寻找一种预测。当然,回归也有很多种实现方式,有简单的线性回归,多项式回归,也有多因素的Logistic回归,本质上都是一种曲线的拟合,是不同模型的“条件均值”预测。

在机器学习之前,多元回归分析提供了一种处理多样条件的有效方法,可以尝试找到一个预测数据失误最小化,“拟合优度”最大化的结果。但是,回归分析中,对于历史数据的无偏差预测的渴求,并不能保证未来预测数据的准确度,这就是所谓的“过渡拟合”。

与回归分析不同,机器学习的预测不追求平均值的准确性,允许偏差,但求减少方差。过去,由于数据和计算能力的匮乏,机器学习的表现不如回归分析来得好。但如今,一切都不一样了,随着数据体量的不断增长,计算能力的不断提升,使用机器学习和(神经网络)深度学习来做预测效果比其他所有方法表现得都要更好,这使得我们利用统计学进行预测的方法发生了彻底的转变。把人工智能与机器学习的最新发展作为传统统计学的延伸与加强这是非常诱人的想法!你会发现,这其实跟观远数据AI+BI核心战略是一致的。

那么,如果仅仅是预测,为什么能称得上“智能”呢?这是因为,某些情况下,我们预测的效果已经好到我们可以直接用来做决策,而无需再应用基于规则的逻辑。这其实也在改变着计算机编程的方式。

想象一下,原先复杂的业务场景下,基于“if...then...”以及传统的统计学方法来实现的代码逻辑,总是无法覆盖所有的条件组合。而近年来,支撑预测方法进步的一种黑科技叫做“深度学习”,它与人类大脑有着类似的工作方式,利用“反向传播”的方法从数据中不断训练、反馈、学习,获取“知识”。就预测而言,随着不断的训练、自我学习,预测模型会得到不断优化,预测准确性也在随着学习而改进,而越来越高的预测准确性为商业决策提供了可信赖的基础。

预测支持决策

一个完整的预测支持决策的回路包括下图所示8个组成部分。这中间,数据在整个历史数据输入、模型训练、数据预测、决策、执行、结果收集、数据反馈的完整回路中流转。

? 数据清洗与特征工程是有效输入的核心。实际情况中,由于预测项目开始前对数据的统一管理不够重视,对历史数据进行清洗整理会占掉整个预测项目的近一半时间。数据质量的优劣,其实是预测项目成败极其重要因素。而有了优质的数据,提取恰当的特征也是预测成功与否的重中之重。

? 足够丰富的带特征数据是预测模型得以训练的基础。

? 预测是决策的核心输入。依赖训练得到的模型与未来有限的确定因素,来为决策提供数据预测支持。

? 而决策执行的结果又将反馈到训练模型,优化预测。

小结

本文主要给大家介绍了AI发展的趋势,AI预测的应用逻辑,何为智能预测,以及“数据——预测——决策——反馈”完整链路。

下一篇我们会跟大家聊聊AI预测在零售业销售场景的应用及效益,敬请关注!

原文地址:https://blog.51cto.com/14211202/2360411

时间: 2024-11-05 17:28:12

AI干货(一):为什么说基于机器学习的AI预测更智能?的相关文章

(5)【整合】基于机器学习的酒店评论文本倾向性分析

酒店评论情感分析系统(五)—— [整合]基于机器学习的酒店评论文本倾向性分析 本文主要是对之前的第三.四节所介绍的各分块进行整合. 流程: 对GUI界面输入的评论文本,先进行中文分词和去停用词,然后再按“环境,价格,卫生,服务”四个方面分类:同时通过调用LingPipe中的DynamicLMClassifier,对已标注的“中文情感挖掘酒店评论语料”库的学习,构造一个基本极性分析的分类器.最后用此分类器分别对整个评论文本给出总体评价和对四个方面分别给出相应的情感评价. 环境: 1. 操作系统:w

【NLP】基于机器学习角度谈谈CRF

基于机器学习角度谈谈CRF 作者:白宁超 2016年8月3日08:39:14 [摘要]:条件随机场用于序列标注,数据分割等自然语言处理中,表现出很好的效果.在中文分词.中文人名识别和歧义消解等任务中都有应用.本文源于笔者做语句识别序列标注过程中,对条件随机场的了解,逐步研究基于自然语言处理方面的应用.成文主要源于自然语言处理.机器学习.统计学习方法和部分网上资料对CRF介绍的相关的相关,最后进行大量研究整理汇总成体系知识.文章布局如下:第一节介绍CRF相关的基础统计知识:第二节介绍基于自然语言角

基于机器学习的web异常检测

基于机器学习的web异常检测 Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击:另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高.成本大. 基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不足,为web对抗的防守端带来新的发展和突破.机器学习方法能够基于大量数据进行

机器学习与AI相关的资料

机器学习与AI相关的资料: 1. http://www.fast.ai/    基础学习 2.http://geek.ai100.com.cn/  中文 3.http://geek.ai100.com.cn/category/notes  学习笔记 原文地址:https://www.cnblogs.com/hopesun/p/8320694.html

[转]AI+RPA 融合更智能

本文转自:https://www.jianshu.com/p/cf25b3dfc0f0 前面已经分析过多次RPA的本质,可以参考 [脱下外衣],看看RPA机器人到底是什么? 哪些AI相关应用技术跟RPA是绝配呢 ? [OCR+] 光学文字识别(Optical Character Recognition,OCR),传统的OCR其实也算不上AI技术,但融合了机器学习的OCR+技术,基本也可以凑凑AI的热闹. RPA经常需要识别图片,或是需要破解登陆验证码,或是需要识别屏幕图片中的信息.下面介绍几个R

专注安防监控,雄迈消费类产品全线标配AI功能,让家用类监控更智能

雄迈专注于使家庭监控更安全,更放心,更智能.雄迈消费类模组现已全线标配智能功能,为不同类型的模组匹配上合适的智能功能.雄迈AI智能WiFi枪机模组,综合了传统枪机和无线产品的优点,结合更智能的手机APP--超级看看,可以实现人形检测.周界警戒.双光声光警戒等多种功能. 1.智能功能:人型检测 支持开启全屏显示踪迹,框出画面中的人型物体,框可以跟随人形物体移动,实时监控目标人物. 2.智能功能:周界警戒 区别于以往的基于移动侦测策略的周界警戒,雄迈AI智能WiFi枪机模组的周界警戒是基于更为智能和

基于Android平台的i-jetty网站智能农业监控系统

基于android平台i-jetty网站的智能农业监控系统 摘要:传统的监控系统,一般是基于PC的有线通信传输,其有很多不足之处,如功耗较高.布线成本高.难度大,适应性差,可扩展性不强,增加新的通信线路需要再次布线施工,而且维护起来也比较麻烦,一旦线路出问题,需要繁琐的检查.而嵌入式Web监控系统是基于物联网技术,其无线通信技术具有成本低廉.适应性强.扩展性强.信息安全.使用维护简单等优点. 智能农业中,种植大棚是通过大棚内安装温湿度以及光照传感器,来对农作物的环境参数进行实时采集,由Web监控

DreamHouse项目(基于ARM与ZIGBEE技术的智能家居)之项目展示

这是本人做的一次有关智能家居的项目,仅是用来参加比赛的!或者是我用来练手的吧!大概花费了我近2个月的时间来完成他,平台是建立在博创S3C2410的嵌入式的箱子上的,我觉得我唯一没有足够自信说是自己写的代码的话就是驱动部分了,毕竟当时的状态也是刚刚把单片机的知识全部学会罢了,因为这是基础中的基础,对于C语言,在校的学生普遍是没有完全掌握的,对于开发真的知识储备确实不够!好吧废话我不多说了,先讲讲我自己做的项目吧!学生的练手项目,大家应该不会来喷我吧! 上图先! 通用模块 我本人真的是没有做出来,但

基于SVM的数据分类预测——意大利葡萄酒种类识别

wine数据来自于UCI数据库,记录的是意大利同一地区3中不同品种的葡萄酒13中化学成分含量,以期通过科学的方法,达到自动分类葡萄酒的目的. 本次分类的数据共有178个样本,每个样本有13个属性,并提供每个样本的正确分类,用于检验SVM分类的准确定. 首先我们画出数据的可视化图: % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter_WineClass.mat; % 画出测试数据