数据仓库的构件

明确仓库的对象:主题和元数据 大多数商务数据都是多维的,所以采集和表示三维以上的数据不能完全借用业务数据库设计中的方法,必须有一种新的方法来表达多维数据.现阶段流行的有2种方 法,一是面向对象方法,即把商务数据抽象为对象,再使用Rational Rose等对象建模工具来表达这些对象:另一种方法就是使用信息包图,这是一种简便且高效的方法,在项目中使用的普及率很高. 信息包图实际上是自上而下数据建模方法的一个很好的工具.自上而下的建模技术从用户的观点开始设计.用户的观点是通过与用户交流得到的,可以进

任何比较关注业界新闻的人,都会知道最近一两年IT行业的几个关键字:移动端.LBS.SNS和大数据.前边三个,大家应该是很熟悉的,因为身边早已充斥着相关的应用.唯独最后一个大数据,在大部分人眼中却是非常陌生的,除了知道如数据挖掘.智能推荐等几个看似非常高深的词汇之外,却是不知其里的. 首先,笔者需要告诉大家,数据有什么价值.很多人可能认为,数据只是一堆数字,是没什么价值的.其实这些人很可能早已可能享受到数据的红利.例如早在2006年中旬上线的百度指数(index.baidu.com),其实就是一个

最近打算阅读一下数据仓库相关的书籍,百度了一下,有两本必读书<数据仓库工具箱>和<数据仓库>.简单介绍一下,<数据仓库>这本书更像是一本教材,里面的内容很经典:<数据仓库工具箱>看书名是一本单纯的工具书,其实里面都是实战.两本书各有千秋,我决定主要阅读<数据仓库工具箱>,今天分享第一章的内容,以后会做系列分享. 第一章主要介绍了维度建模的好处,Kimball的历史和技术架构,以及与其他类似架构的优劣,但其核心议题是:“如何做好数据仓库?” 说实话

一.总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”.总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact). 在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的数据仓库.但是,在建立第一个数据集市前,架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实,即一致性

数据仓库中常见的模型有:范式建模,雪花模型,星型建模,事实星座模型. 星型模型 星型模型是数据集市维度建模中推荐的建模方法.星型模型是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样.星型模型的特点是数据组织直观,执行效率高.因为在数据集市的建设过程中,数据经过了预处理,比如按照维度进行了汇总,排序等等,数据量减少,执行的效率就比较高. 雪花模型 雪花模型也是维度建模中的一种选择.雪花模型的维度表可以拥有其他维度表的,虽然这种模型相比星型模型更规范一些,但是由于这种模型不太容易理解,维

数据仓库有很多类型的架构方式,按照发展的历程上,主要有如下几类标志性. 独立的数据集市架构. 在最早期的数据仓库建设中,大多是以部门为单位搭建数据仓库,也就是数据集市,供整个部门使用.这样能够很快的构建好数据仓库,但是缺点是很容易产生不同部门因数据计算口径不同而导致的数据产出结果不一致.当然对于小公司来讲,构建一个公司级的数据集市也是能够满足需求的. 联邦式的数据仓库架构.不同的部门构建出不同的数据集市,数据集市之间不能很好的进行整合,只能通过建立一定的映射关系来进行数据的交换,所以通过构建这种

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计. 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表.维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID. 单 从概念上讲,有些晦涩.任何技术都是为应用服务的,结合应用可以很容易地

第一,没有工作经验,这个代表着我不知道怎么去进行工作,但是这个问题的根本就是我不一定不知道怎么去做,我如果能够展示出来我能够做好这个工作,那么应该是可以的,首先这个ETL代表着对数据的处理,处理涉及到数据,数据存放在数据库中,数据库分为事务型和分析性两种方向,两个数据库中存放数据会有不同的方式与架构,事务型中的数据存放架构为实体关系型,而分析型中的数据架构为事实维度型.在对数据进行处理前还要进行一定的处理,使得数据源拥有一定的格式,至少能够符合传入的接口,是格式化后的数据.所以这个源库中的数据本

可能很多人理解的数据仓库就是基于多维数据模型构建,用于OLAP的数据平台,通过上一篇文章——数据仓库的基本架构,我们已经看到数据仓库的应用可能远不止这些.但不得不承认多维数据模型是数据仓库的一大特点,也是数据仓库应用和实现的一个重要的方面,通过在数据的组织和存储上的优化,使其更适用于分析型的数据查询和获取. 多维数据模型的定义和作用 多维数据模型是为了满足用户从多角度多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型,其基本的应用是为了实现OLAP(Online Analytic