Olap Stroage

1,Olap存储的数据

OLAP存储的数据包括两类,一类是叶级值,即细节性的数据,包括维度表和事实表中的所有数据;一类是聚合值,是叶级值经过聚合函数聚合之后产生的聚合数据。

2,Olap存储模式

那么Olap是如何存储叶级值和聚合值的?Olap主要使用两种存储结构,一种是使用关系型DB来存储,一种是使用cube来存储。

关系型DB存储是指把叶级值和聚合值都存储在关系型的DB中,缺点是查询效率低,优点是能存储大量的数据。

cube存储是指把叶级值和聚合值都存储在cube中,cube是一种数据结构,这种结构跟关系型结构不同,能够很快的做切片,旋转等聚合操作,便于进行数据的查询,但是不能存储海量数据。Cube存储的优点是查询性能高,缺点是不能存储大量的数据。

这两种存储是不可调和的矛盾体,面对这类问题,肯定会有一种“中庸”的处理方式,来平衡性能和存储。

Olap的存储模式有三种,分别是ROlap,HOlap和MOlap

ROLAP是基于关系数据库的OLAP实现(Relational OLAP)以关系型结构进行多维数据的表示和存储,将Olap数据存储在关系型DB中。特点是将细节数据存储在关系型数据库的事实表和维度表中,将聚合数据保存在关系型的数据库中。这种方式查询效率低,存储的数据量大。

MOLAP是基于多维存储结构的OLAP实现(Multidimensional OLAP)使用cube结构存储数据,特点是将细节数据和聚合数据均保存在cube中,所以以空间换效率,查询时效率高,但生成cube时需要大量的时间和空间。

HOLAP是混合型OLAP实现(Hybrid OLAP)是将细节数据保留在关系型数据库的事实表和维度表中,聚合数据保存在cube中,聚合时需要比ROLAP更多的时间,查询效率比ROLAP高,但低于MOLAP。

3,主动缓存

AS需要响应的数据可以存储在缓存中,提高查询的速度,但是当存储在源关系db中的数据发生变化时,就会产生cube数据和源数据不同步的问题。一旦源关系DB的数据发生改变,Olap如何以最快的速度感知到这种变化,并将数据同步到AS的cube中?答案是proactive caching,利用Proactive Caching能够简化数据同步的问题。

时间: 2024-10-06 01:42:53

Olap Stroage的相关文章

OLAP引擎——Kylin介绍

Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),这段时间对mondrian和kylin都进行了使用,发现这两个系统是时间和空间的一个权衡吧,mondrian是一个ROLAP系统,所有的查询可以通过实时的数据库查询完成,而不会有任何的预计算,大大节约了存储空间的要求(但是会有查询结果的缓存,目前是缓存在程序内存中,很容易

OLAP了解与OLAP引擎——Mondrian入门(一)

一.  OLAP的基本概念 OLAP(On-Line Analysis Processing)在线分析处理是一种共享多维信息的快速分析技术:OLAP利用多维数据库技术使用户从不同角度观察数据:OLAP用于支持复杂的分析操作,侧重于对管理人员的决策支持,可以满足分析人员快速.灵活地进行大数据复量的复杂查询的要求,并且以一种直观.易懂的形式呈现查询结果,辅助决策. 二.  OLAP的基本内容 (1)变量(度量) 变量是数据度量的指标,是数据的实际意义,即描述数据"是什么".像示例中的人数.

了解OLTP/OLAP

OLTP:联机事务处理,表示事务多,但执行大多较短,并发量大的数据库,如日常的进销存操作等: OLAP: 联机分析处理,表示事务较少,但执行大多较长,并发量较小的数据库,如基于数据仓库的操作: OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作:OLAP 系统则强调数据分析,强调SQL执行市场,强调磁盘I/O,强调分区等.

OLAP、OLTP的介绍和比较

OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing).联机分析处理OLAP(On-Line Analytical Processing).OLTP是传统的关系型数据库的主要应用,主要是基本的.日常的事务处理,例如银行交易.OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果. OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作:OLT

ORACLE OLAP错误ORA-06512: at "SYS.OLAPIHISTORYRETENTION"

刚刚安装了ORACLE 10g R2后,启动数据库时发现告警日志有如下错误: Database Characterset is UTF8 replication_dependency_tracking turned off (no async multimaster replication found) WARNING: AQ_TM_PROCESSES is set to 0. System operation might be adversely affected. Fri Apr 24 13

四大OLAP工具选型浅析

OLAP(在线分析处理)这个名词是在1993年由E.F.Codd提出来的,只是,眼下市场上的主流产品差点儿都是在1993年之前就已出来,有的甚至已有三十多年的历史了.OLAP产品不少,本文将主要涉及Cognos(Powerplay).Hyperion (Essbase).微软(Analysis Service)以及MicroStrategy几大厂商的产品. 快枪手  VS  多面手 单纯从成本角度考虑,微软的产品算是最能节省成本的,Cognos和MicroStrategy则在同一水平线,都比微软

【读书笔记-数据挖掘概念与技术】数据仓库与联机分析处理(OLAP)

之前看了认识数据以及数据的预处理,那么,处理之后的数据放在哪儿呢?就放在一个叫"数据仓库"的地方. 数据仓库的基本概念: 数据仓库的定义--面向主题的.集成的.时变的.非易失的 操作数据库系统VS数据仓库--为什么需要使用数据仓库分析数据(OLAP  VS  OLTP) 数据仓库体系结构--三层体系结构:底层(数据仓库服务器)--中间层(OLAP服务器)--顶层(前段工具) 三种数据仓库模型 企业模型 数据集市(只针对某一部门) 虚拟仓库 元数据库--关于数据的数据 理解OLAP,数据

数据仓库应用(三): SQL Server 2005的数据仓库应用--联机分析OLAP

关联文章: 数据仓库应用(一):数据仓库模型设计 数据仓库应用(二):数据抽取.转换.加载(ETL) 前言:有关数据仓库的研究,并不仅仅停留在理论上.目前,几种主要的RDBMS产品,如Oracle.SQL Server.Informix和 Sybase等,都可以为用户提供数据仓库项目的开发工具:而一些通用的应用程序开发平台,如Delphi等,也能对数据仓库项目的开发提供有效的支持.我们将使用Microsoft SQL Server 2005提供的数据仓库工具SSAS对数据仓库中的数据进行OLAP

SharePoint BI 学习系列一OLTP和OLAP简介

数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing).联机分析处理OLAP(On-Line Analytical Processing).OLTP是传统的关系型数据库的主要应用,主要是基本的.日常的事务处理,例如银行交易.OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果.   联机事务处理(Online Transaction Process),缩写成 OLTP 特点 数据在 OLTP 模型