DB-ETL-DW-OLAP-DM-BI关系结构图

在此大概用口水话简单叙述一下他们几个概念:



(1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db。



(2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,都拍一张照片,天天这样,这些照片放入到一个相册中,之后就可以查看每一天的状态了,这个相册就是数据仓库,他保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,就便于我们做统计分析了。


(3)ETL/Extraction-Transformation-Loading——用于完成DB到DW的数据转存,它将DB中的某一个时间点的状态,“抽取”出来,根据DW的存储模型要求,“转换”一下数据格式,然后再“加载”到DW的一个过程,这里需要强调的是,DB的模型是ER模型,遵从范式化设计原则,而DW的数据模型是雪花型结构或者星型结构,用的是面向主题,面向问题的设计思路,所以DB和DW的模型结构不同,需要进行转换。


(4)OLAP——在线分析系统,简单说就是报表系统,销售报表,统计报表,等等,这个大家都熟悉,当然,OLAP的统计要更复杂更丰富一些,比如切面,钻取等等。


(5)DM/Data Mining/数据挖掘——这个挖掘,不是简单的统计了,他是根据概率论的或者其他的统计学原理,将DW中的大数据量进行分析,找出我们不能直观发现的规律,比如,如果我们每天早上照相,量身材的时候,还记录下头一天吃的东西,黄瓜,猪腿,烤鸭,以及心情,如果记录上10年,形成了3650天的相貌和饮食心情的数据,我们每个人都记录,有20万人记录了,那么,我们也许通过这些记录,可以分析出,身材相貌和饮食的客观规律;再说一个典型的实例,就是英国的超市,在积累了大量数据之后,对数据分析挖掘之后,得到了一个规律:将小孩的尿布和啤酒放在一起,销量会更好——业务专家在得到该结论之后,仔细分析,知道了原因,因为英国男人喜欢看足球的多,老婆把小孩介绍男人看管,小孩尿尿需要尿布,而男人看足球喜欢喝酒,所以两样商品有密切的关系,放在一起销售会更好!



(6)BI/Business Intelligence/商业智能——领导,决策者,在获取了OLAP的统计信息,和DM得到的科学规律之后,对生产进行适当的调整,比如,命令超市人员将啤酒喝尿布放在一起销售,这就反作用于DB修改存货数据了——这就是整个BI的作用!


信息技术经过近20年的大力发展,很多行业积累了很多珍贵的数据,真正的大数据时代到来了,也逐渐体现出 DB-ETL-DW-OLAP-DM-BI这条线路的重要性,希望大家能懂得这个大数据时代的价值,把握住机遇,有更加美好的未来!
好了,我的简单讲解,希望对大家掌握这些概念有好处!

时间: 2024-08-11 03:37:06

DB-ETL-DW-OLAP-DM-BI关系结构图的相关文章

DB、ETL、DW、OLAP、DM、BI关系结构图

DB.ETL.DW.OLAP.DM.BI关系结构图 在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统.DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db. (2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,

DW与DM

DW组成部分简介 DW的组成部分有:针对数据源的分析.数据的ETL.数据的存储结构,元数据管理等. 数据源分析 主要是分析要抽取哪些数据,如何抽取(全量还是增量)?它的更新周期是怎么样的?它的数据质量如何? 确定数据的格式,数据的域. ETL ETL之前需要知道以下内容,数据源有哪些系统,各个业务系统的RDBMS是什么?是否存在手工维护的数据? 数据抽取分为直接抽取和间接抽取两种 . 直接抽取:直接从业务数据库到DW,中间没有任何过渡,需要你知道业务系统的授权,表名等信息. 间接抽取:采用文件交

Java集合框架的接口和类层次关系结构图

%E7%94%A8groovy%E8%84%9A%E6%9C%AC%E8%BF%9B%E8%A1%8C%E6%AF%8F%E6%97%A5%E5%B7%A5%E4%BD%9C%E7%9A%84%E8%87%AA%E5%8A%A8%E5%8C%96groovy http://auto.315che.com/zhiyue/qa23760388.htm?437o http://auto.315che.com/jingyi/qa23872297.htm http://auto.315che.com/xi

企业选择报表工具的必看点

我们都做过无数的报表,但却没有真正的了解过报表工具,也不知道怎么样的报表工具才算是好用的.可以真正解决我们需求的.用报表工具做数据,无疑就是想要让数据彻底的得到分析,让数据可视化.达到数据可视化可以让我们的决策者更好地做出利于企业发展的决策.原文出处:http://www.powerbi.com.cn/page103?article_id=253 现在传统报表的占比在各个行业内都在下降,越来越多的用户不太关注报表格式的严格性,而更在意数据,越是信息化程度高的行业越是如此.传统报表需求会有,但是会

BI Financial DBDIFF Analysis Issue

核心公式:DB --> ETL --> DW  vs  REF file 错误产生原因: 1,  DB/DW Connection Issue 2,  SQL Issue 3,  Product Bug 4,  REF file not updated 物理需求分析: 1,  Source DB: EBS, PSFT, Fusion-DB Instance 2,  DW: 忽略数据源的存储形式,将数据以同一的形式存储. 逻辑需求分析: 1,  ETL过程:The data stored in

对数据仓库ODS DW DM的理解

原文链接:https://www.jianshu.com/p/72e395d8cb33 今天看了一些专业的解释,还是对ODS.DW和DM认识不深刻,下班后花时间分别查了查它们的概念. ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表. 2.数据仓库的O

【第1期】安装Linux服务器(DB主机与ETL主机)

1.Linux简介 Linux这样的操作系统对大家来说应该并不陌生,因为它是目前后台服务器的主流操作系统之一.Linux源自于POSIX与UNIX的多用户.多任务和多CPU的操作系统. 对于Linux的相关描述,有比我说得更加清楚的.下面引自[百度百科]的词条:Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户.多任务.支持多线程和多CPU的操作系统.它能运行主要的UNIX工具软件.应用程序和网络协议.它支持32位和64位硬件.Linux继承了Unix

DW,DM,ODS的区别

数据仓库的重要应用是将不同来源的数据和异构数据通过ETL整合在一起,为决策分析提供支撑,若在同一个数据库中分不同用户,此意义不大:假设所有有用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了 SOA 设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要有下钻操作,需要从DW层下钻到ODS层,多个库不方便查询和关联. 在当今这样一个信息技术发展迅速的时代,数据量也在不断的增长,面临这样的压力,总是会有大神提出一些解决方案.比如高层管理人员希望能查看整个公司的

Business Intelligence (BI)

BI, 全称Business Inteligence. 帮助企业更有效地利用数据,提供经营决策支持.让决策管理者随时随地获取关键信息,基于数字决策,最终提高决策水平. 包括范围(层次由低到高):数据报表(传统数据报表,心数据报表).OLAP(在线链接分析).数据挖掘.是数据仓库.OLAP和数据挖掘技术的综合应用. BI solution: DB—>ETL—>Data Warehouse—>Data Mining|OLAP —>DataAnalyzing|DataReporting