数据库与数据仓库

商业智能又名商务智能,英文为Business Intelligence,简写为BI。
商业智能的概念于1996年最早由加特纳集团(Gartner Group)提出,加特纳集团将商业智能定义为:商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。

商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

商业智能的实现涉及到软件、硬件、咨询服务及应用,其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。

因此,把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供支持。

关系理论导致关系数据库
数据仓库理论导致数据仓库

任何一个实践应用都有相应的理论作为支撑

数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。
数据仓库的架构领域在理论知识上存在着两大流派,它们分别是由两位大师Ralph Kimball&Bill Inmon,在上世纪 90年代初提出。这两位大师均是商业智能/数据仓库领域的泰斗宗师级人物、理论家, 但是他们两位的理念和思路有较大差异。他们的跟随者之间也经常有关于哪种架构和建设方式更优的辩论。
在国内,我们通常所说的数据仓库的四个特性角度的定义(面向主题、集成、相对稳定、 反映历史变化,用于支持决策),就是inmon提出来的,他也被称为数据仓库之父。而实践大师kimball他的的工具箱系列著作,亦被奉为数据仓库建设的经典书籍。

从数据库到数据仓库

二者的区别:
1、出发点不同:数据库是面向事务的设计;数据仓库是面向主题设计的。
2、存储的数据不同:数据库一般存储在线交易数据;数据仓库存储的一般是历史数据。
3、设计规则不同:数据库设计是尽量避免冗余,一般采用符合范式的规则来设计;数据仓库在设计是有意引入冗余,采用反范式的方式来设计。
4、提供的功能不同:数据库是为捕获数据而设计,数据仓库是为分析数据而设计,
5、基本元素不同:数据库的基本元素是事实表,数据仓库的基本元素是维度表。
6、容量不同:数据库在基本容量上要比数据仓库小的多。
7、服务对象不同:数据库是为了高效的事务处理而设计的,服务对象为企业业务处理方面的工作人员;数据仓库是为了分析数据进行决策而设计的,服务对象为企业高层决策人员。

企业的数据处理大致分为两类:
一类是操作型处理,也称为联机事务处理,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。
另一类是分析型处理,一般针对某些主题的历史数据进行分析,支持管理决策。数据仓库,数据挖掘
OLTP    二维关系        联机事务处理    On-line transaction processing    
OLAP    多维关系        联机分析处理    On-Line Analytical Processing    数据仓库,数据挖掘
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。

  
OLTP

OLAP

用户

操作人员,低层管理人员

决策人员,高级管理人员

功能

日常操作处理

分析决策

DB 设计

面向应用

面向主题

数据

当前的, 最新的细节的, 二维的分立的

历史的, 聚集的, 多维的,集成的, 统一的

存取

读/写数十条记录

读上百万条记录

工作单位

简单的事务

复杂的查询

DB 大小

100MB-GB

100GB-TB
时间: 2024-08-08 12:36:30

数据库与数据仓库的相关文章

数据库和数据仓库的区别

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计. 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表.维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID. 单 从概念上讲,有些晦涩.任何技术都是为应用服务的,结合应用可以很容易地

老李分享:大数据,数据库,数据仓库之间是什么关系

老李分享:大数据,数据库,数据仓库之间是什么关系 poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标.如果对课程感兴趣,请大家咨询qq:908821478,咨询电话010-84505200. 首先简单的看一下云计算与大数据的概念. 1)云计算:云计算本质上是一种计算资源集中分布和充分共享的效用计算模式,其中集中是为了计算资源的集约化管理,分布是便于扩展计算能力.集中分布式是针对云服务提供商的,充分共享是针对用户,在云计算中,虽然对

数据库和数据仓库的关系

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计. 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表.维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID. 单从概念上讲,有些晦涩.任何技术都是为应用服务的,结合应用可以很容易地理

数据库与数据仓库的比较Hbase——Hive

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented).集成的(Integrate).相对稳定的(Non-Volatile).反映历史变化(Time Variant)的数据集合,用于支持管理决策. (1) 面向主题:指数据仓库中的数据是按照一定的主题域进行组织. (2)集成:指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性. (3)相对稳定:指一旦某个数据进入数据仓库以后只需要定期的加载.刷新. (4)反映历史变化:指通过这些信息,对

数据库与数据仓库区别

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented).集成的(Integrate).相对稳定的(Non-Volatile).反映历史变化(Time Variant)的数据集合,用于支持管理决策. (1) 面向主题:指数据仓库中的数据是按照一定的主题域进行组织. (2)集成:指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性. (3)相对稳定:指一旦某个数据进入数据仓库以后只需要定期的加载.刷新. (4)反映历史变化:指通过这些信息,对

项目管理,REID,矩阵,终端,镜像,Voip,AVB,串口,串口服务器,数据库,数据仓库,码流,心跳包,名词解释

项目管理: 项目管理是管理学的一个分支学科 ,对项目管理的定义是:指在项目活动中运用专门的知识.技能.工具和方法,使项目能够在有限资源限定条件下,实现或超过设定的需求和期望的过程.项目管理是对一些成功地达成一系列目标相关的活动(譬如任务)的整体监测和管控.这包括策划.进度计划和维护组成项目的活动的进展. "项目是在限定的资源及限定的时间内需完成的一次性任务.具体可以是一项工程.服务.研究课题及活动等." "项目管理是运用管理的知识.工具和技术于项目活动上,来达成解决项目的问题

数据库和数据仓库

数据仓库的出现,并不是取代数据库. 数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储业务数据,数据仓库存储的一般是历史数据. 数据库是为了捕获数据而设计,数据仓库是为了分析数据而设计. 数据库设计是尽量避免冗余,一般针对某一业务应用设计. 数据仓库,狮子啊数据库已经大量存在的情况下,为了进一步挖掘数据资源.为决策需要而产生的,决不是所谓的“大型数据库”. 原文地址:https://www.cnblogs.com/Zeng02/p/11728297.html

数据仓库(数仓)和数据库的区别

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计. 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表.维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID. 单从概念上讲,有些晦涩.任何技术都是为应用服务的,结合应用可以很容易地理

第二章:数据仓库与数据集市建模

前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列文章中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术. 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市. 维度建模的基本概念 维度建模(dimensional modeling)是专门用于分析型数据库.数据仓库.数据集市建模的方法. 它本身属于一种关系建模方法,但和之前在操作型数据库中介绍的关系建模方法相比增