对数据仓库ODS DW DM的理解

原文链接:https://www.jianshu.com/p/72e395d8cb33

今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。

ODS——操作性数据

DW——数据仓库

DM——数据集市

1.数据中心整体架构

数据中心整体架构

数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

2.数据仓库的ODS、DW和DM概念

ods、dw、dm区分

3.ODS、DW、DM协作层次图

协作层次

4.通过一个简单例子看这几层的协作关系

例子

5.ODS到DW的集成示例

集成例子

小结

数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。

参考链接:https://www.jianshu.com/p/72e395d8cb33

来源:简书

原文地址:https://www.cnblogs.com/xibuhaohao/p/11671142.html

时间: 2024-07-28 17:53:34

对数据仓库ODS DW DM的理解的相关文章

DW,DM,ODS的区别

数据仓库的重要应用是将不同来源的数据和异构数据通过ETL整合在一起,为决策分析提供支撑,若在同一个数据库中分不同用户,此意义不大:假设所有有用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了 SOA 设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要有下钻操作,需要从DW层下钻到ODS层,多个库不方便查询和关联. 在当今这样一个信息技术发展迅速的时代,数据量也在不断的增长,面临这样的压力,总是会有大神提出一些解决方案.比如高层管理人员希望能查看整个公司的

一个新人对于DW标签的理解

标签呢分为 一.一般标签 一般标签内又分为 ① 格式控制标签 格式控制标签的书写格式是: <font .....></font>  以font为开头以/font为结尾 font的后面 可以包含有color=""(颜色)size=""(字体大小)face=""(选择字体) 一下所有要修改的内容都是在间括号中间: <b>要加粗的字体</b>    字体加粗 <i>要倾斜的字体</i&g

数据仓库与ODS

1. 引言 本篇主要讲述操作数据存储(ODS)系统产生的背景.定义.特点,以及它与数据仓库的区别.在前两篇,笔者介绍了什么是数据仓库?为什么需要数据仓库?数据仓库系统的体系结构是什么?因此可能在读者心里已经形成了企业数据存储的DB~DW两层体系结构的概念,但在实际应用中,并不总是这样,有时候我们可能需要ODS这一系统来搭建DB~ODS~DW三层数据体系,那么什么是ODS?为什么需要ODS?ODS与DW的区别又是什么?下面将在第2-6节介绍ODS的理论知识,在第7节以电信运营商为例介绍ODS的实际

数据仓库架构分层

数据仓库简介:有些人不理解数据仓库,认为数据仓库就是获取数据,只要会使用hadoop.spark等大数据工具就懂数据仓库,这样的认识太片面.如果要从海量数据中总结出一个报表或者是多个报表,大数据工程师足以:如果在有限的资源动态的数据情况下,向前可历史追溯,向后对不断增加的报表实现兼容,这就需要一套科学的数据管理方法.数据仓库是一门数据管理的科学,数据仓库的核心就是计算.存储和维护之间的博弈. 标准的数据仓库分层:sd(源数据层),ods(中间存储层),dw(多维数据层),dm(数据集市层),ap

数据仓库基础内容

一.数据仓库概念 将多数据源中的数据整合一起,进行数据分析,此时数据仓库对多种业务数据进行筛选和整合,可以用于数据分析.数据挖掘.数据报表.时效性T+1. 二.数据仓库的特点 主题性:数据仓库是针对某个主题来进行组织,比如滴滴出行,司机行为分析就是一个主题,所以可以将多种不同的数据源进行整合.而传统的数据库主要针对某个项目而言,数据相对分散和孤立. 集成性:数据仓库需要将多个数据源的数据存到一起,但是这些数据以前的存储方式不同,所以需要经过抽取.清洗.转换的过程 稳定性:保存的数据是一系列历史快

搭建数据仓库第06篇:逻辑建模–3–维度建模核心之总线架构

目录 前言 维度建模 星型模型 小结 前言 维度建模是Kimball提出来的经典的数据仓库建模思想.维度建模提倡针对某一主题,通过建设维度和事实来快速建设数据仓库.与维度建模相对应的自然是Inmon的范式建模.在上篇也提到范式建模非常适合应用于中间明细层的建设,那么在DW/DM层为什么选择使用维度建模呢?这是第一个问题.维度建模的核心是总线架构,一致性维度,一致性事实.本篇的主题是总线架构,那为什么说维度模型是总线式架构?本篇通过维度建模和星型模型的讲解来分别解释这两个问题. 维度建模 维度模型

ODS浅谈

ODS和DW 根据Bill.Inmon的定义,“数据仓库是面向主题的.集成的.稳定的.随时间变化的,主要用于决策支持的数据库系统”  : ODS (Operational Data Store)操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的.当前或接近当前的.不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分: ODS DW 主要是和源系统表结构相同,表结构随着源系统变化 面向主题的表模型,模型相对稳定 一般只保留最新数据或较短时间

数据仓库规范

一. 数据仓库层次结构规范 1.1 基本分层结构 系统的信息模型从存储的内容方面可以分为,STAGE接口信息模型.ODS/DWD信息模型,MID信息模型.DM信息模型.元数据信息模型. 在各个信息模型中存储的内容如下描述: 1)        SRC接口层信息模型:提供业务系统数据文件的临时存储,数据稽核,数据质量保证,屏蔽对业务系统的干扰,对于主动数据采集方式,以文件的方式描述系统与各个专业子系统之间数据接口的内容.格式等信息.与该模型对应的数据是各个专业系统按照该模型的定义传送来的数据文件.

数据仓库概念

数据仓库可以算是数据产品必须要了解的技术知识了, 在一年前的数据产品求职分析中,其中技能要求这一项中,数据仓库可是占了一席之地的. 但是,对于准备求职数据产品的童鞋来说,可能身边没有做数仓开发的朋友可以请教.自学吧,而那几本经典书籍里面又过于理论,看起真是生不如死,而且数据产品并不是数据开发,可能了解一些入门的常识,有个大概的概念就可以了. 我也一直零零散散的积累这方面的知识,这两天梳理了下,形成下文,希望对大家有所帮助,非专业数仓开发人员,如有不准确的地方,还望大家指正. 文章结构 一.数据仓