基于mondrain 的原理纠正特殊指标值

原文地址:http://www.cnblogs.com/qiaoyihang/p/7348385.html  

下面有两张表

数学试卷成绩

表1


学号


省份


批次


学校


试卷成绩

数学试卷小题成绩

表2


学号


小题号


分值


成绩

下面是星型模型:

维度:省份,批次,学校     指标:标准差,信度(比较有代表性)

星型模型表

表3


省份(维度)


批次(维度)


学校(维度)


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

上面是我的OLAP 星型模型,在我同时选中维度:省份,批次,学校  指标:信度这个信度是正确的。

如果我要查询省份成绩的试卷信度,在这个情况下

在我选中  维度:省份  指标:信度

Mondrian支持sum,count,avg等,如下图

但是并不没有信度的计算,同时,信度不能用sum累加,更不能count,min,max进行聚合。

我在从表3中通过省份查询,会得出多条记录。

我如何解决查询选择省份,得出正确的信度值?

我解决的方式是:

通过Mondrian的聚合表优化的特性:

下面是三张聚合表:

agg_1(表4)


省份


批次


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

agg_2(表5)


省份


学校


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

agg_3(表6)


省份


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

mondrian的聚合表使用规则是:

agg_1(表4)

agg_2(表5)

agg_3(表6)

上面是三张聚合表,如果我们查询的指标是:试卷最高分, 上面的三张聚合表都身份维度

那么,从上面的任何一张聚合表查询的结果都正确。

刨根究底的人会好奇,mondrian作为OLAP服务器引擎,会查询哪一张聚合表得到结果?

mondrian会首先查询上面所有的聚合表,获取每张表的数据量。

表的数据量关系依次是:  agg_1 > agg_2>agg_3

为了提升性能,mondrian会选择数据量最少的表,就是agg_3,数据量最少的表,相应最快。

我就是应用这条规则:

如果我创建了agg_3这张聚合表,mondrian引擎就好选择聚合表agg_3上查询信度,

在星型模型设计器上,

我选择红色圈起来的,其得到的结果都是一样的。

如果,我要查询的维度变了

在我选中   维度:批次  指标:信度

这个维度时,mondrian引擎,会选择

agg_1(表4)


省份


批次


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

在这种情况下,批次对应了多个省份,

根据批次查询的信度,就是多个省份的信度值

如果前面是sum,查询的结果sum就是多个省份的信度值累加,这是错误的。

如果要查询到正确的信度值

需要创建一张聚合表

agg_batch(表7)


批次


试卷最高分(指标)


试卷标准差(指标)


试卷信度(指标)

这个聚合表只有一个批次维度,查询的信度值才是正确的。

如果 我操作选中

维度:省份,批次  指标:信度

mondrian引擎,会选择agg_1(表4),得到的结果才是正确的,这种维度组合,agg_1的结果才会正确。

OK,通过上面的例子,我们对信度指标,聚合表已经有了个大概的了解。

这个设计有个缺点

每一种维度组合,都需要有一种维度表对应,信度,平均分,区分度等指标查询的结果才能保证正确。

需要对OLAP星型模型的所有维度进行组合

组合的结果集为:

如果有5个维度

取一个维度: C(5,1) 5种组合

取二个维度: C(5,2) 10种组合

取三个维度: C(5,3) 10种组合

取四个维度: C(5,4) 5种组合

取五个维度: C(5,5) 1种组合

总的组合数为: C(5,1)+ C(5,2)+ C(5,3)+ C(5,4)+ C(5,5) = 31种

如果有6个维度

C(6,1)+ C(6,2)+ C(6,3)+ C(6,4)+ C(6,5)+C(6,6) = 63种

如果有8个维度

2的8次方减1等于255种

如果有3个维度

2的3次方减1等于7种

一个星型模型的维度是有限的,kylin最大支持15个维度,我觉得,Mondrian也是需要有极限,2的16次方是65 536。

16个维度就产生65 535个聚合表。

通过梳理我们业务,差不多有15到16个维度,但通过去除一些无意义的组合(例如,年份,科目试卷,两个维度只选择一个维度,其OLAP组合没有意义)

维度降低为11个,也就是2047张聚合表。

但是,实际应用中。一般模型的维度一般都在8个以内,其聚合表也就是255张表。在计算上是可控的。

时间: 2024-11-05 12:19:25

基于mondrain 的原理纠正特殊指标值的相关文章

SQL Server调优系列进阶篇(查询语句运行几个指标值监测)

原文:SQL Server调优系列进阶篇(查询语句运行几个指标值监测) 前言 上一篇我们分析了查询优化器的工作方式,其中包括:查询优化器的详细运行步骤.筛选条件分析.索引项优化等信息. 本篇我们分析在我们运行的过程中几个关键指标值的检测. 通过这些指标值来分析语句的运行问题,并且分析其优化方式. 通过本篇我们可以学习到调优中经常利用的几个利器! 废话少说,开始本篇的正题. 技术准备 数据库版本为SQL Server2008R2,利用微软的一个更简洁的案例库(Northwind)进行分析. 利器一

mysql之 MySQL 主从基于 GTID 复制原理概述

一. 什么是GTID ( Global transaction identifiers ):MySQL-5.6.2开始支持,MySQL-5.6.10后完善,GTID 分成两部分,一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中,这是一个非常重要的文件,不能删除,这一部分是不会变的.另外一部分就是事务ID了,随着事务的增加,值一次递增,如下图+---------------+----------+--------------+------------------+-

基于rem布局原理

1.rem的布局 em单位式参照元素自身的文字大小来设置尺寸,rem指的是参照根节点的文字大小,根节点值的是HTML标签,设置HTML标签的文字大小,其他元素相关尺寸设置用rem,这样,所有元素都有了统一的参照标准,改变HTML文字的大小,就会改变所有元素用rem设置的尺寸大小. 例子:Ipet移动端页面 <!doctype html><html><head><meta charset="utf-8"><meta name=&quo

主成分分析(PCA)原理及R语言实现

原理: 主成分分析 - stanford 主成分分析法 - 智库 主成分分析(Principal Component Analysis)原理 主成分分析及R语言案例 - 文库 主成分分析法的原理应用及计算步骤 - 文库 主成分分析之R篇 [机器学习算法实现]主成分分析(PCA)——基于python+numpy scikit-learn中PCA的使用方法 Python 主成分分析PCA 机器学习实战-PCA主成分分析.降维(好) 关于主成分分析的五个问题 主成分分析(PCA)原理详解(推荐) 多变

HashMap的工作原理

这是一节让你深入理解hash_map的介绍,如果你只是想囫囵吞枣,不想理解其原理,你倒是可以略过这一节,但我还是建议你看看,多了解一些没有坏处. hash_map基于hash table(哈希表).哈希表最大的优点,就是把数据的存储和查找消耗的时间大大降低,几乎可以看成是常数时间:而代价仅仅是消耗比较多的内存.然而在当前可利用内存越来越多的情况下,用空间换时间的做法是值得的.另外,编码比较容易也是它的特点之一. 其基本原理是:使用一个下标范围比较大的数组来存储元素.可以设计一个函数(哈希函数,也

一种基于Qt的可伸缩的全异步C/S架构服务器实现(流浪小狗,六篇,附下载地址)

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/S客户端-服务集群应用需求而搭建.连接监听.数据传输.数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理.本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.ne

一种基于Qt的可伸缩的全异步C/S架构服务器实现(一) 综述

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/S客户端-服务集群应用需求而搭建.连接监听.数据传输.数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理.本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.ne

zookeeper 分布式锁原理:

1 大家也许都很熟悉了多个线程或者多个进程间的共享锁的实现方式了,但是在分布式场景中我们会面临多个Server之间的锁的问题,实现的复杂度比较高.利用基于google chubby原理开发的开源的zookeeper,可以使得这个问题变得简单很多.下面介绍几种可能的实现方式,并且对比每种实现方式的优缺点. 1. 利用节点名称的唯一性来实现共享锁 ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构.ZooKeeper机制规定:同一个目录下只能有一个唯一的文件名.例

几个系统调用分析 glibc中的malloc调用和共享内存原理

本文主要分析内存以及I/O相关的系统调用和库函数的实现原理,根据原理给出在使用过程中需要注意的问题和优化的侧重点,本文涉及到的系统调用包括readahead,pread/pwrite,read/write,mmap,readv/writev,sendfile,fsync/fdatasync/msync,shmget,malloc. 本文先简单介绍应用程序对内存的使用以及I/O系统对内存的使用的基本原理,这对理解上述系统调用和库函数的实现有很大帮助. 1 内存管理基础 Linux对物理内存的管理是