BI开发(ETL-DW)

来到公司已经参与开发了一段时间的BI项目,但是仅仅是按照需求开发,今天下午公司给大家培训数据仓库的知识,老大(女程序员)在上面讲,我们在下面听,2到3个小时吧,什么纬度,主题,几乎听的一脸茫然,最后演示了基于BI的成本分析系统,感觉好复杂,主要是对于医疗项目的业务,反正挺繁琐的。做这个项目的目的主要是给实施人员使用,再由实施人员教客户使用,进而指定自定义的报表(数据量很大,表都是上百万的数据),记一下,有空研究一下数据仓库。

目前说白了,就是为了进行数据汇总,分析,如果不采用数据仓库,直接查询数据库,需要大量的join,并且表数据量大,影响数据库效率(水平分表听过,不怎么会用,目前主要建立临时表存储,但是数据量还是很大),所以建立数据仓库。同时各家医院对于成本分析的指标不一致,所以报表需要客户自定义,所以不能直接写SQL固化的程序中,不过目前我们就是固化。(每次发布一次报表,需要2,3个小时)。

======================================================================================================

BI开发(ETL-DW)

时间: 2024-10-13 02:38:01

BI开发(ETL-DW)的相关文章

SQL点滴17—使用数据库引擎存储过程,系统视图查询,DBA,BI开发人员必备基础知识

原文:SQL点滴17-使用数据库引擎存储过程,系统视图查询,DBA,BI开发人员必备基础知识 在开发过程中会遇到需要弄清楚这个数据库什么时候建的,这个数据库中有多少表,这个存储过程长的什么样子等等信息,今天把自己工作过程中经常用到的一些数据库引擎存储过程,系统视图等等总结一下以备不时之用.下面的知识多是自己总结,有一些参考了MSDN. sp_help 有时候想尽快查出数据库对象的相关信息,这个存储过程就很有用了.使用它可以查询出整个数据库中所有对象的相关信息.直接运行sp_help结果如下图1,

大数据数据仓库-微软BI SSIS ETL 控件与案例

一.Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase,它的Data基于OLTP源Systam.Data仓库中的Data是细节的.集成的.面向主题的,以OLAPSystam的分析需求为目的. Data仓库的架构模型包括了星型架构与雪花型架构两种模式.星型架构的中间为事实表,四周为维度表,类似星星;而相比较而言,雪花型架构的中间为事实表,两边的维度表可以再有其关联子表,从而表达了清晰

用友财务总账(GL)模块的BI数据ETL分析

业务需求如下: 某公司目前用了用友的总账BI分析案例. /* Sql Server2012使用作业设置定时任务,来保证一天执行一次 */ /* 一定要注意temp1表里一定要保证要有记录,否则以temp1 来 left join就出现为空的情况. */ /* Step 1: 把所有的数据库列表都插入到BI数据库的DBLIST表里 */ USE BI; /* drop table BI.DBO.TEMP1; drop table BI.DBO.TEMP2; drop table BI.DBO.TE

设计和开发ETL系统(一)——ETL过程综述

在这部分将按照设计和实现ETL系统的流程展开,将上一个部分的那些子系统按照提取数据.清洗和一致化.向呈现服务器提交以及管理ETL环境等四个方面进行了分类.(是不是说对ETL主要就是掌握这四个方面的内容) ETL处理步骤 提取数据 清洗和一致化 向呈现层提交 管理ETL环境 计划 创建一个高层的.单页的源到目标示意流程 * 测试.选择和实现一种ETL工具 为维度管理.错误处理和其他有关过程设计默认的策略 * * * 通过目标表向下钻取,给出任何复杂数据重组或转换的图形示意,并且设计初步的作业序列

BI之ETL学习(一)kettle

最近开始折腾数据,起源是多业务数据源需要转换到数据分析平台.这个过程需要跨机器,跨库.同时还需要将业务数据表的内容进行转换,合并,清洗等等操作. 经过多方选型,最终决定使用kettle来作为数据抽取处理的工具. 但是,在这里,是想吐槽下kettle这东西的问题. 1.kettle的版本使用的是5.1,搭建了一个kettle的集群之后,经常遇到的问题就是虚拟文件系统异常,作业,或者转换 "is a not a file.".网上找到的解决办法是远程上传的作业是xml,但是缺乏XML头,因

大数据模块开发----ETL

ETL工作的实质就是从各个数据源提取数据,对数据进行转换,并最终加载填充数据到数据仓库维度建模后的表中.只有当这些维度/事实表被填充好,ETL工作才算完成. 本项目的数据分析过程在hadoop集群上实现,主要应用hive数据仓库工具,因此,采集并经过预处理后的数据,需要加载到hive数据仓库中,以进行后续的分析过程. 1.?创建ODS层数据表1.1.?原始日志数据表 drop table if exists ods_weblog_origin; create table ods_weblog_o

FocusBI: 《DW/BI项目管理》之数据库表结构 (原创)

关注微信公众号:FocusBI 查看更多文章:加QQ群:808774277 获取学习资料和一起探讨问题. <商业智能教程>pdf下载地址 链接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v 数据行业发展的很快,很多一起做BI的朋友都已转入大数据.云计算.人工智能等高大上的领域去了,而我还停留在原地做BI,导致能一起讨论问题的人越来越少,我还有太多BI领域的知识不会,需要深入学习,只好一个人慢慢前行一点一点的去学. 在做BI实施的

ETL流程概述及常用实现方法

http://blog.csdn.net/btkuangxp/article/details/48224187 目录(?)[-] 1抽取作业 1手工开发抽取作业时候的常用方法 11当数据源和DW为同一类数据库时 12当数据源和ODS为不同类型数据库时 2更新数据的时间和数量的问题 21实时抽取数据 22批量抽取数据 221常用实现 222根据下载时候对数据的筛选方式可以分为 2转换作业 1数据清洗 2数据转换 3加载作业 4流程控制 5常用商业ETL工具 ETL是英文Extract-Transf

SQL Server BI 体系

概念介绍: 1.商业智能(Business Intelligence,BI),指用现代数据仓库技术.联机分析处理技术.数据挖掘和数据展现技术进行数据分析以实现商业价值. 其中,数据仓库(Data Warehouse,DW)是一个面向主题的(Subject Oriented).集成的(Integrate).相对稳定的(Non-Volatile).反映历史变化的(Time Variant)数据集合,用于支持管理决策. 联机分析处理(On-Line Analytical Processing,OLAP