搭建数据仓库第04篇:逻辑建模–1–概要

目录

  • 前言
  • 原则
  • 内容
  • 小结

前言

上一篇讲述了数据仓库模型设计中的业务建模和领域概念建模,接下来就自然而然的来到了逻辑数据建模LDM(Logical Data Model)的阶段,这个阶段可以说是建模最重要的一环(也就是维度建模)。逻辑建模涉及到了整个数据仓库所有层次的模型设计,从DW到DM甚至到了OLAP。当然重点的设计还是在DW和DM层当中。

有些地方逻辑建模的范畴更加宽泛,包含了前面的业务主题和领域概念模型的设计(看下图)。 本篇只是涉及了狭隘的部分(红色框住的部分)。

内容

了解了逻辑模型设计的范畴以及重要地位,那么具体需要做些什么呢?

  • 分析主题域

确定要装载到铸具仓库的主题名称,以及各自主题的码键和属性组;主题内的实体,及其容量和更新频率;实体的列的属性等

  • 粒度模型的设计

通过粗略估算数据量来确定粒度层次的划分,是单一粒度还是多重粒度(比如1年内的数据是天粒度的,历史记录是月粒度的)

  • 数据分割设计

针对某一实体的数据应该是按怎样的方式来分割,一般是按照时间来分割,比如每天的数据放在一个分区里面。

  • 元数据模型的建立

在各种转换和汇总的过程中建立好元数据模型能更好的维护和理解数据。

原则

逻辑数据模型设计是数据仓库项目的核心基础。为什么这样讲呢,因为逻辑数据模型设计是有原则的,通过满足了这些原则,能够保证整个数据仓库的稳定性,同时让数据需求方使用起来很容易理解数据,处理数据的效率也很高。

  • 粒度性

数据仓库不同的层次具有的粒度是不同的,DW层是数据是原子粒度的数据,比如交易数据原子粒度是订单,记录也包括购买的用户以及商家,DM层的数据是面向主题按一定的维度进行汇总的数据,比如商户集市计算当天出售的订单量。

  • 共享性

在数据仓库中,通过抽象和集成,把一些(维度)信息汇总起来,并做全局的一致化,使其在整个数据仓库中处于共享状态,任何用户都可以来使用。比如一致性维度。

  • 历史性

针对业务分析的需求,需要从历史信息中获取有用的信息,比如评估客户生命周期价值。

  • 一致性

逻辑数据模型必须在设计过程中保持一个统一的业务定义。比如,渠道的定义、团体的分类等,应该在整个企业内部保持一致。将来各种分析应用都使用同样的数据,这些数据应按照预先约定的规则进行刷新,保证同步和一致。

  • 扩展性

当有新的需要和改变的时候,逻辑数据模型结构要能够做到可扩展,并能使得对用户透明。

当然还有一些其他的原则,这些原则的最终目标是更好的满足用户的使用。

小结

逻辑模型设计是实践维度建模的重要组成部分,后续会从维度建模的三个核心来深入探讨和总结。

维度建模的三个核心: 总线架构,一致性维度,一致性事实。

时间: 2024-08-10 19:14:10

搭建数据仓库第04篇:逻辑建模–1–概要的相关文章

搭建数据仓库第05篇:逻辑建模–2–范式建模

目录 前言 使用情景 如何来范式建模 使用的效果 小结 前言 上篇讲述了一些抽象的概念模型和逻辑模型设计的东西,接下来就该讲述如何来一步一步的利用Inmon和Kimball数据仓库的理论来建设数据仓库的模型,主要分几块吧,一个是范式建模,然后是维度建模(分几篇总结),最后是因地制宜,按照自己的平台来考虑如何综合的考虑Inmon和Kimball数据仓库的理论的应用. 本篇将会讲述范式建模部分.当然3范式的概念也不再赘述,度娘全都有. 使用情景 提起数据仓库建模,谁都会知道Inmon的以范式建模为理

搭建数据仓库第06篇:逻辑建模–3–维度建模核心之总线架构

目录 前言 维度建模 星型模型 小结 前言 维度建模是Kimball提出来的经典的数据仓库建模思想.维度建模提倡针对某一主题,通过建设维度和事实来快速建设数据仓库.与维度建模相对应的自然是Inmon的范式建模.在上篇也提到范式建模非常适合应用于中间明细层的建设,那么在DW/DM层为什么选择使用维度建模呢?这是第一个问题.维度建模的核心是总线架构,一致性维度,一致性事实.本篇的主题是总线架构,那为什么说维度模型是总线式架构?本篇通过维度建模和星型模型的讲解来分别解释这两个问题. 维度建模 维度模型

搭建数据仓库第08篇:逻辑建模–5–维度建模核心之一致性维度2

目录 前言 维度表的类型 维度表的使用场景 维度表的键和属性 小结 前言 前面从宏观的角度,讲述了7何问题.那么从微观的角度,具体的改怎样的来建设一致性维表呢? 本篇从表的类型和使用场景,以及建设过程中键的设置和属性的设置做一些总结. 维度表的类型 总体上讲,一般分为两类 TYPEI(不变) 和TYPEII表(变化). TYPEI 维度属性值持久不变,只有新增和删除. 属性能够在一定周期(比如一天)内不会变化. TYPEII 缓慢变化维.部分维度属性可变化,但是变化的频次很低. 快速变化维.部分

搭建数据仓库第01篇:数据仓库开发的生命周期

生命周期方法为我们在数据仓库开发过程中提供了路标的作用,生命周期方法的总体结构和步骤有 定义业务需求 技术路径 技术架构设计 产品的选择和安装 数据路径 维度建模 物理设计 ETL设计和开发 BI应用路径 BI应用设计 BI应用开发 后续会按照这个顺序依次做些总结和思考.

数据仓库建设中的数据建模方法(转)

简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家.希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的,满足大部分行业数据仓库建设标准的一种方法. 所谓水无定势,兵无常法.不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的.目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对某个行业的数据模型. 例如,在

浅谈数据仓库建设中的数据建模方法

所谓水无定势,兵无常法.不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的.目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对某个行业的数据模型.       例如,在银行业,IBM 有自己的 BDWM(Banking data warehouse model),而 NCR 有自己的 FS-LDM 模型.在电信业,IBM 有 TDWM(Telecom Data warehouse model)

Angularjs学习---angularjs环境搭建,ubuntu 12.04下安装nodejs、npm和karma

1.下载angularjs 进入其官网下载:https://angularjs.org/?,建议下载最新版的:https://ajax.googleapis.com/ajax/libs/angularjs/1.3.0-beta.7/angular.js 所有版本:https://code.angularjs.org/ 2.示例1 HelloWorld ! 新建一个helloworld.html <!doctype html> <html ng-app> <head> &

【转帖】Mysql多维数据仓库指南 第一篇 第1章

 Mysql多维数据仓库指南 第一篇基本原理 章节列表: 第1章:基本组成 第2章:维度历史 第3章:维度可加性 第4章:维度查询 本篇概述 你将运用关系数据库来实施一个维度数据仓库.事实表和维表这两种类型的关系表构成了一个数据仓库模式的基本部分,在本书的第一部分,你将用mysql数据库建立这些基本部分. 第1章:基本组成   概述        本章将了解两个重要的主题:星型模式和代理键.星型模式是一种维度数据仓库的数据结构.代理键是在数据仓库中添加到事实表以作为主键的字段. 在本章你将开始一

手把手教你搭建LyncServer2013之准备篇(一)

这次实验的拓扑结构如下: 首先准备AD域,把DC这台服务器提升为域服务器,在这里,域服务器的安装就不上图了,DNS会随域控制器的安装一起安装,这次安装的Lync版本为Lync Server 2013,规划的Lync内部WEB地址和外部WEB地址一样,都为pool01.iSusan.cn,而两台Lync前端做为DNS轮询负载,所以在DNS下需要加入如下A记录: 192.168.137.12 pool01.iSusan.cn 192.168.137.13 pool01.iSusan.cn 192.1