商务智能(BI)技术

  以下内容仅为兴趣爱好。

  商务智能技术是将数据仓库、联机分析处理(OLAP)和数据挖掘等结合起来应用到商业活动中,从不同的数据源收集数据,经过抽取(Extract)、转换(Transform)和加载(Load),送入到数据仓库或数据集市,然后使用合适的查询与分析工具、数据挖掘工具和联机分析处理工具对信息进行处理,将信息转变成为辅助决策的知识,最后将知识呈现于用户面前,以实现技术服务与决策的目的。

  下面仅仅介绍商务智能的一些关键技术。

  商务智能的四大关键技术:商务智能的支撑技术主要包括ETL(数据的提取、转换与加载)技术和数据仓库与数据集市技术、OLAP技术、数据挖掘技术与数据的发布与表示技术。

  (1)数据仓库技术

  实施BI首先要从企业内部和企业外部不同的数据源,如客户关系管理(CRM)、供应链管理(SCM)、企业资源规划(ERP)系统以及其他应用系统等搜集有用的数据,进行转换和合并,因此需要数据仓库和数据集市技术的支持。

  数据仓库(Data Warehouse)是指从多个数据源收集的信息,以一种一致的存储方式保存所得到的数据集合。数据仓库创始人之一W.H.Inmon的定义为:“数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合,它用于支持管理中的决策制定过程”。在构造数据仓库时,要经过数据的清洗、数据的抽取转换、数据集成和数据加载等过程。面向不同的需求,对数据进行清洗以保证数据的正确性,然后对数据进行抽取,转换成数据仓库所需形式,并实现加载到数据仓库。

  数据仓库是一种语义上一致的数据存储,充当决策支持数据模型的物理实现,并存放企业战略决策所需信息。数据仓库的数据模型有星型模式、雪花模式。星型模式最为常见,有一个包含大批数据并且不含冗余的中心表,每维一组小的附属表。雪花模式中某些维表是规范化的,因而把数据进一步分解到附加的表中,模式图形成了类似雪花的形状。对数据仓库的研究集中在数据集成中数据模式的设计、数据清洗和数据转换、导入和更新方法等。

数据仓库通常是企业级应用,因此涉及的范围和投入的成本非常巨大,使一些企业无力承担。因而,他们希望在最需要的关键部门建立一种适合自身应用的、自行定制的部门数据仓库子集。正是这种需求使数据集市应运而生。数据集市( Data Mart) 是聚焦在选定的主题上的,是部门范围的。根据数据的来源不同,数据集市分为独立的和依赖的两类。在独立的数据集市中,数据来自一个或多个操作的系统或外部信息提供者,或者来自在一个特定的部门或地域局部产生的数据。依赖的数据集市中的数据直接来自企业数据仓库。

  (2)联机分析处理技术(OLAP)

  联机分析处理(Online Analytical Processing ,简称OLAP) 又称多维分析,由EF Codd 在1994 年提出,它对数据仓库中的数据进行多维分析和展现,是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据更深入了解的一类软件技术。它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。

  进行OLAP分析的前提是已有建好的数据仓库,之后即可利用OLAP 复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析了。称其为探测式数据分析,是因为用户在选择相关数据后,通过切片(按二维选择数据)、切块(按三维选择数据)、上钻(选择更高一级的数据详细信息以及数据视图)、下钻(展开同一级数据的详细信息)、旋转(获得不同视图的数据) 等操作,可以在不同的粒度上对数据进行分析尝试,得到不同形式的知识和结果。联机分析处理研究主要集中在ROLAP(基于关系数据库的OLAP) 的查询优化技术和MOLAP(基于多维数据组织的OLAP) 中减少存储空间和提高系统性能的方法等。

  (3)数据挖掘技术

  与OLAP 的探测式数据分析不同,数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析,从中识别和抽取隐含的模式和有趣知识,为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种,按功能可分为两大类:预测型( Predictive)模式和描述型(Descriptive)模式。

  预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种描述,或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中,根据模式的实际作用,可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6 种。其中包含的具体算法有货篮分析(Market Analysis)、聚类检测(Clustering Detection)、神经网络(Neural Networks)、决策树方法(Decision Trees)、遗传算法(Genetic Analysis)、连接分析(Link Analysis)、基于范例的推理(Case Based Reasoning)和粗集(RoughSet)以及各种统计模型。

  OLAP 与数据挖掘的区别和联系是:OLAP 侧重于与用户的交互、快速的响应速度及提供数据的多维视图,而数据挖掘则注重自动发现隐藏在数据中的模式和有用信息,尽管允许用户指导这一过程。OLAP 的分析结果可以给数据挖掘提供分析信息作为挖掘的依据,数据挖掘可以拓展OLAP 分析的深度,可以发现OLAP 所不能发现的更为复杂、细致的信息。数据挖掘的研究重点则偏向数据挖掘算法以及数据挖掘技术在新的数据类型、应用环境中使用时所出现新问题的解决上, 如对各种非结构化数据的挖掘、数据挖掘语言的标准化以及可视化数据挖掘等。

  (4)BI的表示和发布技术

  为了使分析后的数据直观、简练地呈现在用户面前,需要采用一定的形式表示和发布出来,通常采用的是一些查询和报表工具。不过,目前越来越多的分析结果是以可视化的形式表现出来,这就需要采用信息可视化技术。

  所谓信息可视化是指以图形、图像、虚拟现实等易为人们所辨识的方式展现原始数据间的复杂关系、潜在信息以及发展趋势,以便我们能够更好地利用所掌握的信息资源。随着Web 应用的普及,商务智能的解决方案能够提供基于Web 的应用服务,这样就扩展了商务智能的信息发布范围。作为基于Web 的商务智能解决方案,需要一些基本的组成要素,包括基于Web 的商务智能服务器、会话管理服务、文件管理服务、调度、分配和通知服务、负载平衡服务和应用服务等。

商务智能(BI)技术

时间: 2024-11-02 02:36:13

商务智能(BI)技术的相关文章

【SQL Server 2008商务智能BI】数据挖掘导论

数据挖掘到底是什么呢? 显然数据挖掘不是变魔术,数据挖掘是 使用复杂的数学算法,使我们能够运用计算机强大的计算能力对大量细节数据进行筛查.梳理,找出一些有意义的信息,发现数据中的模式.相关性和聚类.同时它也让我们摆脱了手工进行这种数字运算的劳累工作. 那么我们为什么又要去了解数据挖掘呢? 关系数据库系统擅长记录日常的业务事务,积累了大量的数据. 而多维数据系统通过聚合对数据进行汇总,但由于要按照无数个维度和层次结构来汇总,所以数据还是会成倍增长. 当这些数据多到无法承受时,只能把数据转储到备份磁

BI技术框架的理解

如何梳理BI技术框架? 首先,我们需要从各个菜市场(数据源)挑选我们需要的蔬菜.肉类.水果,然后我们开始挑拣.清洗,并根据菜式的要求,将各种原材料切好(ETL),摆放到厨房(数据仓库):然后厨师根据不同的菜式及口味,将原材料进行必要的搭配(OLAP),最后辅以调料,通过炒.焖.炖等不同烹饪的手法制作出不同的菜肴,最后端上桌的红烧鱼.铁板牛肉.凉拌青瓜.水果拼盘.玉米炖排骨则像是报表.仪表盘.柱状图.趋势线等各种各样的BI前端展示界面. 技术实现的过程也和做菜一样: 领导想吃什么菜,就得研究这道菜

你们企业CEO BI工具他值得拥有

商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策.BI商务智能已经很火爆,今天纽带线CRM系统要跟大家分离的是:BI工具,CEO值得拥有. 人们普遍认为,商业智能和数据分析对企业来说至关重要,它们是企业进行有效决策的保证.自助式BI工具为业务经理和员工们提供行而有效的分析功能.交互式仪表板出现在日常业务中,静态报告逐步淡出了人们的视线.这些现象可能会让你觉得,对商业智能软件工具的使用和适应在大多数公司已经不再

大数据下BI产品如何发挥最大价值

看到这个题目,你是否总感觉云里雾里?你是否真正懂什么叫“大数据”?商业智能BI和大数据又有着什么千丝万缕的联系?为什么说商业智能BI能在大数据中发挥价值? 大数据,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取.管理.处理.并整理成为帮助企业经营决策更积极目的的资讯.大数据拥有四个特征:数据量大.数据种类多.更新速度快.蕴藏的价值大但密度低.大数据虽然蕴含极大的价值,但是如果仅仅停留在数据收集.整理.存储和简单报表阶段的话,大数据就是一堆“IT库存”,成本高

数据分析与BI的联系,BI是如何做数据分析的

BI就是数据分析吗?两者的关系是怎样的?BI是如何进行数据分析的?要知道,数据分析与BI并不是完全等同的关系.本文就来解读数据分析与BI. 一.名词解释 BI是Business Intelligence的英文缩写,即商务智能.广义上,BI是指商务智能的一套整体解决方案:狭义上,BI是指可视化BI 产品,例如FineBI. 数据分析(DA)是用适当的统计分析原理,在专业系统和软件的帮助下,检查数据集,以计算出它们包含的有用信息.大数据分析技术广泛应用于商业领域,支持组织做出更明智的业务决策. 二.

大数据时代的新BI系统架构发展趋势

商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 商业智能的概念最早在1996年提出.当时将商业智能定义为一类由数据仓库(或数据集市).查询报表.数据分析.数据挖掘.数据备份和恢复等部分组成的.以帮助企业决策为目的技术及其应用.目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具.商务智能系统中的数据来自企业其他业务

蒋步星:自助报表难自助,敏捷BI欠敏捷

这里有点标题党,为了对仗把题目写成这样.其实自助报表和敏捷BI深究起来是一回事,都是希望业务人员自己能完成数据分析和呈现,叫得通俗些是自助报表,洋气一些就是敏捷BI了. 经营分析软件中大都会提供丰富的固定报表,能够处理较复杂的计算需求,但毕竟死板.业务经营中常常会有临时性的数据分析需求,传统手段一般提交给技术部门去实现,这样显然周期长效率低,有时获得结果时已经失去意义了.如果能让业务人员自己做分析和呈现,那无疑会极大地提高决策效率,这就是敏捷BI产品主打的目标. 问题是,这个目标能达到吗? 如果

2014年市场需求排名前10的编程语言 - 生命的延续是 BI

开篇介绍 2014年就快收尾了,Team 内部每人都会准备一些 Tech Talk 的内容,技术方面的,咨询方面的都可以.我就准备了一些有关 BI 排名,BI 报表排名,包括各种技术编程语言等相关排名的信息.摘选一部分有关编程技术相关的拿出来分享给大家看一下,或许对大家年终写写总结,内部技术分享时有所帮助. 以社交与工作需求相关角度出发的 2014 TOP 10 排名 来自 Slideshare 上的一个分享 - http://fr.slideshare.net/lyndadotcom/top-

一起学微软Power BI系列-使用技巧(4)Power BI中国版企业环境搭建和帐号问题

千呼万唤的Power BI中国版终于落地了,相信12月初的微软技术大会之后已经铺天盖地的新闻出现了,不错,Power BI中国版真的来了,但还有些遗憾,国际版的一些重量级服务如power bi embeded,都还暂时不能用,但相信会很快,等了一年,也不在乎多等点时间了,而且中国版的一些服务已经可以先进行一些测试和技术储备了.今天就来说说Power BI帐号注册的相关问题,以及多人协作环境的搭建. 苦逼这篇文章应该在2016年末发出来的,杯具搞到半夜,Win10系统死掉了...无法保存,当时那个

一起学微软Power BI系列-官方文档-入门指南(5)探索数据奥秘

我们几篇系列文章中,我们介绍了官方入门文档与获取数据等基本知识.今天继续给大家另外一个重点,探索数据奥秘.有了数据源,有了模型,下一步就是如何解析数据了.解析数据的过程需要很多综合技能,不仅仅是需要掌握Power BI的功能要点,熟练的利用一些新功能来提高效率,同时还需要合理的利用仪表盘,以及合理的调整对象,同时作为一个完整的应用,必须掌握数据刷新和同步的技巧,避免做重复工作. 本文原文地址:一起学微软Power BI系列-官方文档-入门指南(5)探索数据奥秘 Power BI系列文章地址:微软