DW组成部分简介
DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。
数据源分析
主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？
确定数据的格式，数据的域。
ETL
ETL之前需要知道以下内容，数据源有哪些系统，各个业务系统的RDBMS是什么？是否存在手工维护的数据？
数据抽取分为直接抽取和间接抽取两种 。
直接抽取：直接从业务数据库到DW，中间没有任何过渡，需要你知道业务系统的授权，表名等信息。
间接抽取：采用文件交换的方式，需要考虑网络连接，文件的位置，文件的格式，授权，文件内容完整性检查，文件的传输方式等。
元数据
主要包括技术元数据和业务元数据
技术元数据
有了这些数据，你就知道怎么开发DW，例如FRD,STTM(source to target mapping)等。
业务元数据
从业务角度描述了DW系统中的数据。帮助你理解各指标的含义，指标的计算方法等。如BRD。
DM（数据集市）的类型
1.独立型数据集市
数据直接来自于操作型数据库，为了满足特殊用户而建立的一种分析型环境。周期短，具有灵活性，但因为脱离 了DW，可能会导致信息孤岛的存在，不能以全局的视角分析数据。
2.从属型数据仓库
它的数据源是来自于EDW，开发周期长，但是结构上比较稳定，数据质量比较高，数据的一致性有保障。
DW和DM的区别
在数据结构上，DW是面向主题的，集成的数据的集合，而DM通常被定义成star或snowflake。
可以说，这是BI的两个鼻祖，innmon和kimball的思想在实现中的两个具体表现。
Inmmon的思想是自上而下建立完整的企业级的数据仓库。
RalphaKimball的思想是自下而上的建立数据仓库，建 的是DM,DM建得多了，自然就形成了DW。
时间： 2024-10-10 17:12:29