BI Financial DBDIFF Analysis Issue

核心公式:DB --> ETL --> DW  vs  REF file

错误产生原因:

1,  DB/DW Connection Issue

2,  SQL Issue

3,  Product Bug

4,  REF file not updated

物理需求分析:

1,  Source DB: EBS, PSFT, Fusion…DB Instance

2,  DW: 忽略数据源的存储形式,将数据以同一的形式存储。

逻辑需求分析:

1,  ETL过程:The data stored in Source DB will be extracted, transformed, andloaded to DW.

关键点:

1,  Each record in DW can be found in Source DB tables. No matter it isoriginal data or derived data.

2,  If it is original data, we need to know which table and which columnin Source DB it comes from.

3,  If it is derived data, we need to know the associated record with itin Source DB. In another words, how does this data derive from Source DB byETL.

错误分析:

1,  DB/DW Connection Issue: (略);

2,  SQL Issue: (略);

3,  Product Bug: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据不相等,但是DB中的数据与REF file相等,那么这就是一个Product Bug。

举例: 1. original data:

             如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为null。这种情况通过核心公式表示为:

null --> ETL --> 0  vs  null. 显而易见,这是ETL发生了错误,也就是ProductBug。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.2), 进过计算,DB中显示的值为45.3。这种情况通过核心公式表示为:

45.3 --> ETL --> 45.2  vs  45.3. 显而易见,这也是ETL发生了错误,也就是ProductBug。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数小于REF file 显示的行数(num (out)<num (ref)),并且OUT file输出的行在REF file中可以找到

    定义:如果ETL Load Plan 没有执行成功,就会出现转化到DW里面的记录缺失,这就是一个Product Bug。

    举例:如果DW输出的行数为4,而REF file显示的行数为8,并且DW中输出的这4条记录可以在REFfile这8条记录中找到,那么这就符合num(out)<num(ref),是ETL Load Plan没有执行成功,因此是一个Product Bug。

4,  REF file not updated: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据想等,但是DB/DW中的数据与REF file不相等,那么这就属于REF file not updated的问题。

举例:1. original data:

             如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为0。这种情况通过核心公式表示为:

0 --> ETL --> 0   vs  null. 这说明ETL是没有问题的,也就是DBUpdated or REF file not updated。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.1), 进过计算,DB中显示的值为45.2。这种情况通过核心公式表示为:

45.2 --> ETL --> 45.2  vs  45.3. 这说明ETL是没有问题的, REF file not updated。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数大于REF file 显示的行数(num (out)>num (ref)),并且REF file显示的行在OUT file中可以找到(只适用于INCR,如果FULL中出现这种类型,同样归纳到product
bug)

    定义:如果OUT file
输出的行数大于 REF File显示的行数,只有在增量的情况下可能出现REF更新的滞后性,因此是REF的问题,而FULL不存在此问题,如出现则是Product
Bug。

    举例: INCR中,如果DW输出的行数为10,而REF
file显示的行数为3,并且REF file中这3条可以在OUT
file 10条中找到,那么就是REF更新的滞后性问题。

分析疑难点:

1,  没有ETL MAPPING, 无法确定DW中的data是从Source DB中哪些记录中得到的。

时间: 2024-08-02 17:11:59

BI Financial DBDIFF Analysis Issue的相关文章

解读商业智能BI圈最权威报告——Gartner魔力象限2015(2)

魔力象限之领导者象限概述 领导者象限的BI厂商都被放到了第一象限靠边的位置,中间是空的.这是因为没有一个厂商能做到既支持越来越大的Business-user-oriented并被管控的BI部署,又在用户体验上为这场划时代的变革做好了创新的准备.有观点认为以前的BI巨头将不能重新获取市场的认同,即便他们还在为创新而投入. Tableau和Qlik得到了市场的认同,是因为他们满足了客户在Data Discovery上的需求,促成了更简单和更广泛的应用,因而获得了成长. 客户非常看重产品的易用性,也很

CFA一级知识点总结

Ethics 部分 Objective of codes and standard:永远是为了maintain public trust in 1. Financial market 2. Investment profession 6个code of ethics 1. Code 1—ethics and pertinent d persons a. 2. Code 2---primacy of client’s interest a. Integrity with investment pr

China sets economic reform priorities for 2015

BEIJING -- China's State Council, the cabinet, on Monday unveiled this year's priorities for economic reforms. The reforms -- to streamline administration and deregulate power to lower levels, promote the yuan's convertibility under the capital accou

URAL 1515. Cashmaster (数学啊 )

题目链接:http://acm.timus.ru/problem.aspx?space=1&num=1515 Background Once upon a time former petty bureaucrat, nowadays the Minister of Finance of the Soviet Federation, Victor Thiefton considered, that he had stolen so much money during the first half

AR8327 VLAN ID > 128 not working

AR8327 VLAN ID > 128 not working openwrt Issue Description switch config swconfig Analysis Issue Description swconfig could not set VLANID > 128 $ swconfig dev switch0 vlan 100 set ports '0t 1' ok  # swconfig dev switch0 vlan 4090 set ports '0t 1' 

96 Stocks APIs: Bloomberg, NASDAQ and E*TRADE

Our API directory now includes 96 stocks APIs. The newest is the Eurex VALUES API. The most popular, in terms of directory page views, is the Bloomberg API. Below you'll find some more stats from the directory, including the entire list of stocks API

会计学专业本科培养方案

一.专业简介 中南大学会计系1993年开始招收“会计学”本科生,1998年获得会计学硕士授予权,2005年在“工商管理”一级学科博士点下设“会计学”二级学科博士点:中南大学会计系师资力量雄厚,现有教师16人,其中教授4人(博士生导师4人),副教授8人:建有会计综合模拟.ERP.沙盘模拟实验室等实验实习平台:本专业立足会计学学科前沿,服务社会和国家经济发展,在教学.科研和学生培养中,已形成循环经济与会计.反倾销会计.会计管理信息系统.审计理论等多个有特色的研究方向,承担了一系列国家.省部级和校企合

笨办法学AWS:各类存储服务适用场景总结

原材料来自AWS官方白皮书 https://aws.amazon.com/whitepapers/S3的适用场景: Amazon S3 is used to store and distribute static web content and media 静态网站内容和媒体文件. Amazon S3 is used to host entire static websites. 静态网站托管. Amazon S3 is used as a data store for computation

RE写作Issue问题题库分析与提纲

RE写作Issue问题题库分析与提纲 GRE写作Issue问题题库分析与提纲 第一类 社会 2. "Competition is ultimately more beneficial than detrimental to society." 归根结底,竞争对于社会是利多弊少. Generally speaking, competition contributes to progress in society. 1.        Generally speaking, competi