数据仓库专题（5）-如何构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分

一.数据仓库 关于数据仓库概念的标准定义业内认可度比较高的,是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的"Building the Data Warehouse"(<建立数据仓库>)一书中所提出: 中文定义:数据仓库是一个面向主题的.集成的.相对稳定的.反映历史变化的数据集合,用于支持管理决策. 英文定义:A data warehouse is a subject-oriented, integrated, nonvolatile, and time

一.前言 上一篇分享博文<数据仓库专题(3)--分布式数据仓库事实表设计思考>后,陆续有各位兄弟参加大讨论,提出了各种问题,关于分布式环境下,维表和事实表设计,进行了比较深入的探讨,在此汇集整理,分享给大家.希望能有更多人参与尽力啊,共同探索分布式数据仓库数据模型的设计. 二.纪要 [活跃]北京-RTB-胖哥(1106110976) 10:21:36 分布式模式下事实表设计思考: 做大做强事实表,做小做弱维表: [冒泡]杭州-电子病历<[email protected]> 10:2

一.总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”.总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact). 在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的数据仓库.但是,在建立第一个数据集市前,架构师首先要做的就是设计出在整个企业 内具有统一解释的标准化的维度和事实,即一致

一.前言 四步过程维度建模由Kimball提出,可以做为业务梳理.数据梳理后进行多维数据模型设计的指导流程,但是不能作为数据仓库系统建设的指导流程.本文就相关流程及核心问题进行解读. 二.数据仓库建设流程 以下流程是根据业务系统.组织结构.团队结构现状设定的数据仓库系统建设流程,适合系统结构复杂,团队协作复杂,人员结构复杂的情况,并且数据仓库建设团队和业务系统建设团队不同的情况.具体流程如下图所示: 图1 数据仓库系统建设流程 三.四步维度建模 Kimball四步建模流程适合上述数据仓库系统建设

默认情况下,客户机会定时与域控制器同步时间,但有些时候客户机却不能与域控制器进行时间同步,出现这种情况往往是因为使用了ghost镜像安装系统的结果,某些ghost镜像系统为了精简系统服务,关闭了Windows Time服务,而Windows Time服务是时间同步所依赖的服务,所以设置NTP之前,必须保证客户机的Windows Time服务是已启动和自动启动状态. 在域控制器上设置NTP,网络上的教程也很多,都有涉及到修改注册表,本人经过试验后发现,修改注册表是非必要的,只需要创建修改组策略即可

一.前言 工作内容的变更,导致重新回到数据仓库模型的架构和设计,于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系,记录下来,作为笔记吧. 二.模型 无论数据仓库技术如何变化,从RDBMS到NoSQL,从传统技术到大数据,其实只是实现技术手段的变化,数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过.向前辈致敬.下图是The Kimball Lifecycle diagram中文版本: 三.未完待续 后续考虑根据项目的实施,分环节,从实践角度,记录分享点滴,算是我的工作笔记吧. 另外项

一.数据分类模型 二.数据分类定义 元数据(metadata,Reference DataMaster DataEnterprise structure Data,Transaction Activity Data) 引用数据(), 主数据(), 企业结构数据() 交易活动数据() 交易审计数据(Transaction Audit Data) 元数据:数据的数据,平时我们设计表时,大部分属性字段就是元数据.比如,性别,国籍,出生省份等.这个是最接近自然意义的的数据. 引用数据:元数据的可能取值范

一.前言 最近在设计数据仓库的数据逻辑模型,考虑到海量数据存储在分布式数据仓库中的技术架构模式,需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造.设计出一套真正适合分布式数据仓库的数据存储模型. 二.事实表设计基础 事实表记录发生在现实世界中的操作型事件,其所产生的可度数值.事实表的设计完全依赖于物理活动,不受可能产生的最终报表的影响.事实表中,除数字度量外,事实表总是包含外键,用于关联与之相关的维度,也可以包含退化的维度键和日期/时间戳. 三.传统模式 以FS-LDM数据存储模型Ev

一.数据仓库架构 二.数据主题域设计 三.星型模型设计  四.数仓技术架构