数据仓库建模流程

数据模型:抽象描述现实世界的一种工具和方法,通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。在这里,数据模型表现的抽象的是实体和实体之间的关系,通过对实体和实体之间关系的定义和描述,来表达实际的业务中具体的业务关系。
.
数据仓库模型:数据模型中针对特定的数据仓库应用系统的一种特定的数据模型,一般而言,数据仓库模型分为以下几个层次。
1)业务建模,生成业务模型,主要解决业务层面的分解和程序化,包括以下几个部分:
..a)划分整个单位的业务,一般按照业务部门划分,进行各个部分之间业务工作的界定,理清各业务部门之间的关系。
..b)深入了解各个业务部门的内部具体业务流程并将其程序化。
..c)提出修改和改进业务部门工作流程的方法并程序化。
d)数据建模的范围界定,整个数据仓库项目的目标和阶段划分。
2)领域建模,生成领域模型,主要是对业务模型进行抽象处理,生成领域概念模型,包括以下几个部分:
..a)抽取关键业务概念,并将之抽象化。
..b)将业务概念分组,按照业务主线聚合类似的分组概念。
..c)细化分组概念,理清分组概念内的业务流程并抽象化。
..d)理清分组概念之间的关联,形成完整的领域概念模型。
3)逻辑建模,生成逻辑模型,主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化,包括以下几个部分:
..a)业务概念实体化,并考虑其具体的属性
..b)事件实体化,并考虑其属性内容
..c)说明实体化,并考虑其属性内容
4)物理建模,生成物理模型,主要解决逻辑模型针对不同关系型数据库的物理化,包括数据冗余和性能的权衡、数据类型、长度、索引、数据存储等细节问题。包括以下几个部分:
..a)针对特定物理化平台,做出相应的技术调整
..b)针对模型的性能考虑,对特定平台作出相应的调整
..c)针对管理的需要,结合特定的平台,做出相应的调整
..d)生成最后的执行脚本,并完善

原文地址:https://blog.51cto.com/abezoo/2359165

时间: 2024-10-10 20:30:12

数据仓库建模流程的相关文章

[数据仓库]-0023-独一无二的数据仓库建模指南系列教程升级版

2018最新最全大数据技术.项目视频.整套视频,非那种淘宝杂七杂八网上能免费找到拼凑的乱八七糟的几年前的不成体系浪费咱们宝贵时间的垃圾,详细内容如下,视频高清不加密,需要的联系QQ:3164282908(加Q注明博客园). 课程名称: 独一无二的数据仓库建模指南系列教程升级版 本课程也有部分免费的视频课程<数据仓库建模指南系列教程>,大家可以前往学习和了解 https://edu.hellobi.com/course/54/lessons [温馨提示:1. 你可以在PC端浏览器或者微信收藏该页

大数据数据仓库-独一无二的数据仓库建模指

简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家.希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的,满足大部分行业数据仓库建设标准的一种方法. 所谓水无定势,兵无常法.不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的.目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对某个行业的数据模型. 例如,在

数据仓库架构理论和实践,数据仓库建模指南

数据仓库架构理论和实践,数据仓库建模指南 背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类.对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节. 如何准确.高效地把MySQL数据同步到Hive中?一般常用的解决方案是批量取数并Load:直连MySQL去Select表中的

《BI那点儿事》数据仓库建模:星型模式、雪片模式

数据仓库建模 — 星型模式Example of Star Schema 数据仓库建模 — 雪片模式Example of Snowflake Schema 节省存储空间 一定程度上的范式 星形 vs.雪花型 Which one is better? 长期以来的争论 两种观点各有支持者 争论在继续…… 目前看来,大部分更加倾向于星型 支持星形维度的论点 事实表总会是很大的,在维度表上节省的空间相对来说是很小的 增加了数据模型的复杂度 查询操作概念上更复杂了 从数据仓库到多维数据库的加载时间会更长 因

数据仓库建模方法初步

一.前言 数据仓库得建模方法同样也有很多种,每一种建模方法其实代表了哲学上的一个观点,代表了一种归 纳,概括世界的一种方法.目前业界较为流行的数据仓库的建模方法非常多,这里主要介绍范式建模法,维度建模法,实体建模法等几种方法,每种方法其实从本质 上讲就是从不同的角度看我们业务中的问题,不管从技术层面还是业务层面,其实代表的是哲学上的一种世界观.我们下面给大家详细介绍一下这些建模方法. 二.3NF范式建模方法 范式建模法其实是我们在构建数据模型常用的一个方法,该方法的主要由 Inmon 所提倡,主

数据仓库建模技巧

一.数据仓库的架构 数据仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型DataBase,它的数据基于OLTP源系统.数据仓库中的数据是细节的.集成的.面向主题的,以OLAP 系统的分析需求为目的. 数据仓库的架构模型包括了星型架构与雪花型架构两种模式.星型架构的中间为事实表,四周为维度表,类似星星;而相比较而言,雪花型架构的中间为事实表,两边的维度表可以再有其关联子表,从而表达了清晰的维度层次关系. 从OLAP 系统的分析需

数据仓库建模

前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术. 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市. 回到顶部 维度建模的基本概念 维度建模(dimensional modeling)是专门用于分析型数据库.数据仓库.数据集市建模的方法. 它本身属于一种关系建模方法,但和之前在操作型数据库中介绍的关系建模方法

数据仓库建模与ETL实践技巧

一.数据仓库的架构 数据仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库,它的数据基于OLTP源系统.数据仓库中的数据是细节的.集成的.面向主题的,以OLAP系统的分析需求为目的. 数据仓库的架构模型包括了星型架构(图二:pic2.bmp)与雪花型架构(图三:pic3.bmp)两种模式.如图所示,星型架构的中间为事实表,四周为维度表,类似星星:而相比较而言,雪花型架构的中间为事实表,两边的维度表可以再有其关联子表,从而表

广告行业中那些趣事系列1:广告统一兴趣建模流程

摘要:这是广告系列的第一篇.广告的核心是服务广告主,为广告主圈定对应的人群从而达到好的广告转化效果.而在其中起到桥梁作用的就是标签.广告主会根据自身的性质选定一类或几类有明显特点的人群,这里用标签表示.而我们要做的就是给用户打上标签,然后提供给广告主使用.广告主选择标签,而标签后面则代表人群.本文基于实战项目介绍如何为广告主圈定人群以及如何刻画用户对标签的兴趣度得分. 本系列文章主要结合实际项目围绕广告行业出发,涉及统一兴趣建模.NLP文本理解.图计算等等内容,会持续更新.对相关内容感兴趣的小伙