数据仓库架构分层

数据仓库简介:有些人不理解数据仓库,认为数据仓库就是获取数据,只要会使用hadoop、spark等大数据工具就懂数据仓库,这样的认识太片面。如果要从海量数据中总结出一个报表或者是多个报表,大数据工程师足以;如果在有限的资源动态的数据情况下,向前可历史追溯,向后对不断增加的报表实现兼容,这就需要一套科学的数据管理方法。数据仓库是一门数据管理的科学,数据仓库的核心就是计算、存储和维护之间的博弈。

标准的数据仓库分层:sd(源数据层),ods(中间存储层),dw(多维数据层),dm(数据集市层),app(应用层)

源数据层:源数据一般具有多来源、多类型特征,可能使用多种数据库,甚至是非结构化数据,是数据仓库中数据最复杂的一层,需要工程师对多种数据库多种数据类型都有一定了解。

中间存储层:中间层数据和源数据基本保持一致,保存着最细粒度的数据。中间层可以说是数据仓库最重要的一层,是所有后期分析的数据基础。中间存储层一般存放所有的明细数据,具有数据量大,查询计算较慢的特点。

多维数据层:多维数据层是经过清洗的,有价值的数据。多维数据层是在存储层的基础上清洗脏数据、删选有价值数据,并且对存储层的事实维度表进行事实维度分离。与中间存储层相比,多维数据层与存储层有着相同的数据粒度,但是具有更小的数据量、更快的查询速度。

数据集市层:它是面向主题轻度汇总的数据,在某主题的最细粒度数据,能满足该主题所有需求。数据集市是按照某一主题汇总,既可以由多维数据层汇总,也可是其他集市表进一步汇总,通常是星状、雪花状数据和网状模型。数据集市层主题明确,极大减少使用方理解及使用成本

应用层:这一层就是大家看到的各种报表,一般都是在数据集市基础上按照各种特定维度汇总的结果。应用层是面向用户的,数据具有极快的响应速度。

原文地址:https://www.cnblogs.com/ddwarehouse/p/9385283.html

时间: 2024-07-28 17:53:38

数据仓库架构分层的相关文章

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台. 本次分享嘉宾是来自阿里云大数据的技术专家祎休 背景与总体思路 数据仓库是一个面向主题的.集成的.非易失的.反映历史变化的数据集合用于支持管理决策. 原文链接:http://click.aliyun.com/m/43803/ 数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主

【开源】OSharp框架解说系列(4):架构分层及IoC

〇.前言 前面构造了一个后台管理的界面布局,下面开始讲解整个项目的分层设计. 关于分层,网上已经存在相当多的讨论了,这也是一个程序员初学架构设计最先会碰到的问题. 该不该分层? 怎样分层? 层与层之间是否需要解耦?是否需要设计接口?接口是否是多余的? 看完OSharp的分层设计,我想,你应该多少能得到一些启示. 注:OSharp 开发框架的前身是<MVC实体架构设计>系列中讲到的那个架构示例,所以有很多知识点那个系列讲到了,就不会在这个系列再重复了,如果有什么觉得不太明白的可以参考<MV

Flume在企业大数据仓库架构中位置及功能

Flume在企业大数据仓库架构中位置及功能 hadoop 数据仓库 flume 数据仓库架构 1.如下图所示,外部数据中,关系型数据库导入到HDFS用sqoop,由Nginx产生的文件实时监控用Flume获得. 在HDFS或Hbase中,如果要进行实时查询用Impala(内存),如果是分析可以用Hive,Mapreduce分析.用Oozie来调用工作流执行任务. 2.左边是数据的来源:系统日志文件,应用文件(应用系统收集APP产生的日志),点击流(点击产生的日志),销售点(订单信息).通过Flu

标准Web系统的架构分层

标准Web系统的架构分层 – 转载请注明出处 1.架构体系分层图 在上图中我们描述了Web系统架构中的组成部分.并且给出了每一层常用的技术组件/服务实现.需要注意以下几点: 系统架构是灵活的,根据需求的不同,不一定每一层的技术都需要使用.例如:一些简单的CRM系统可能在产品初期并不需要K-V作为缓存:一些系统访问量不大,并且可能只有一台业务服务器存在,所以不需要运用负载均衡层. 业务系统间通信层并没有加入传统的HTTP请求方式.这是因为HTTP请求-响应的延迟比较高,并且有很多次和正式请求无关的

标准Web系统的架构分层[转]

标准Web系统的架构分层 – 转载请注明出处 1.架构体系分层图 在上图中我们描述了Web系统架构中的组成部分.并且给出了每一层常用的技术组件/服务实现.需要注意以下几点: 系统架构是灵活的,根据需求的不同,不一定每一层的技术都需要使用.例如:一些简单的CRM系统可能在产品初期并不需要K-V作为缓存:一些系统访问量不大,并且可能只有一台业务服务器存在,所以不需要运用负载均衡层. 业务系统间通信层并没有加入传统的HTTP请求方式.这是因为HTTP请求-响应的延迟比较高,并且有很多次和正式请求无关的

数据仓库架构设计

一. 数据仓库架构,是IT架构的一个分支,随着数据在企业的核心作用的增强,数据仓库的架构日益重要.数据仓库架构由于其技术选择非常广泛,看上去复杂,不过背后有一套比较稳定的思路,这也是数据仓库架构设计的一个要点,稳定中蕴含变化,变化中蕴含稳定. 总 体来说,数据仓库架构分成两大块,一是硬件架构,二是软件架构.硬软架构又可以分成封闭式和开放式.封闭式硬件架构代表厂商有teradata,其硬件是 专属的,必须使用特殊的硬件才能运行.开放式硬件架构的代表有oracle,可以运行在各种硬件上,不过开放和封

根据Android架构分层推荐开发书籍

Android系统的架构可以分为六个部分.笔者根据自己的体会为大家推荐每个部分对应的精品书籍,不喜勿喷.  1.Android Application <Android Developer Document>.<Pro Android>.<Professional Android Application Development>.<Google Android SDK开发范例大全>. Google IO Android Documents. 2.Androi

关于项目的架构分层

我以为小项目其实是不用分层的 直接来一个 ORM框架  比如 Subsonic 操作数据库,后台直接写逻辑 ,搞定了,简单直接方便 分层的好处大家都清楚,保证以后的复用 现在来介绍下实际情况 公司有 A平台 B平台  C平台 A平台 的用户为  商务  产品 运营  但他们是不同的权限 ,直白点就是他们看的是不同的页面 B平台 同上 C平台 同上 另外还有D,E,F......... 小公司 小平台 不用分层 直接开发 简单方便 本来好好的 有一天 商务不干了 他们觉得平台太多 切来切去太麻烦

数据仓库专题(24)-数据仓库架构体系总结

一.数据仓库架构 二.数据主题域设计 三.星型模型设计  四.数仓技术架构