设计和开发ETL系统(一)——ETL过程综述

在这部分将按照设计和实现ETL系统的流程展开,将上一个部分的那些子系统按照提取数据、清洗和一致化、向呈现服务器提交以及管理ETL环境等四个方面进行了分类。(是不是说对ETL主要就是掌握这四个方面的内容)

ETL处理步骤 提取数据 清洗和一致化 向呈现层提交 管理ETL环境
计划
创建一个高层的、单页的源到目标示意流程 *
测试、选择和实现一种ETL工具
为维度管理、错误处理和其他有关过程设计默认的策略 * * *
通过目标表向下钻取,给出任何复杂数据重组或转换的图形示意,并且设计初步的作业序列 * * *
设计一次性历史装载过程
建立和测试历史事实表的装载,包括代理键的查询和替换 * * *
设计增量装载过程
建立和测试维度表增量装载过程 * * *
建立和测试事实表增量装载过程 * * *
建立和测试聚集表装载和OLAP处理 *
设计、建立和测试ETL系统的自动化 * * *
时间: 2025-01-02 03:19:17

设计和开发ETL系统(一)——ETL过程综述的相关文章

硬件设计与开发——热水循环泵系统

电阻的分压功能,二极管的钳位功能,电容的充放电特性,电阻.电容和稳压管组成的延时电路,N三极和P三极管在电源电路中的开关应用,复合管的应用 一.项目背景介绍 项目用在彩扩机中,要求对两个槽缸循环注入热水,相隔时间为5分钟,同时对彩扩机中加热系统要有散热功能,当加热系统温度过高散热系统功能并且红LED灯点亮作为警告,当温度降到正常范围,散热系统不工作并且绿LED灯点亮表示彩扩机正常工作. 二.项目资源评估 需要的条件: 1.有刷直流马达电压12V负载功率0.6W 2.电源系统由机器提供: 15VD

基于Bootstrap框架的临床数据管理系统的设计与开发

    基于Bootstrap框架的临床数据管理系统的设计与开发     2018年11月10日 目  录 第一章绪论... 6 1.1 选题背景及其意义... 6 1.2国内外研究现状... 7 1.2.1 临床大数据管理系统发展现状... 7 1.2.2医疗电子表单管理发展现状... 8 1.3研究目标... 9 1.4 研究内容... 10 1.5论文整体结构... 10 第二章相关技术研究... 12 2.1 AngularJS技术简述... 12 2.2 RESTful API +sw

Android内核开发:图解Android系统的启动过程

本文是<Android内核开发>系列的第六篇文章,前面的几篇文章介绍了Android内核开发相关的基础知识,包括:Android源码的下载.版本和分支介绍.编译和烧写等等,从本文起就要开始真正地进行Android内核的学习及实战了. 学习任何软硬件系统,研究系统启动过程都是一种非常有效地起步手段,搞Android内核开发也不例外.网上有很多文章对Android启动相关代码进行分析和走读,大家可以先搜索阅读一下,我个人更喜欢更加直观的方式去理解未知的东西,包括图.表.系统输出的log信息等等,因

抽取、转换和装载介绍(三)ETL系统的34个子系统

这部分对ETL系统的架构中34个关键子系统进行分类.ETL其实可以分为下面四个步骤: 抽取.在ETL环境中从源系统收集原始数据并且在对任何对数据的重要重构发生之前都将数据写入磁盘.子系统1到子系统3都支持抽取过程. 清洗和一致化.提高了从源系统接收数据的质量,并且对两个或者多个源系统中的数据进行了合并,创建并强化了一致性维度和一致性度量.子系统4到子系统8描述了支持清洗和一致化过程所需的架构. 提交.从物理上将数据组织和装载到呈现服务器的目标维度模型中.子系统9到子系统21提供了若干种将数据提交

一、Asp.Net MVC4.0开发CMS系统案例之数据库设计

从本章开始,记录开发一个文章管理系统的过程,一般开发软件的流程无非包括以下几个方面: 1.需求调研,了解系统功能需求目标. 2.分析设计,根据调研内容分析如何实现的客户的要求,并设计系统功能模块. 3.数据设计,确定功能对应的数据库.数据表.数据字段.数据关系等 4.代码开发,实现各个功能模块. 5.整合美工,将后台的业务功能实现与前台设计的网页结合起来,并做好美工优化. 6.系统测试,检查系统BUG,以及性能等测试. 7.上线发布,正式使用. 由于我们主要是为学习和研究MVC架构技术,因此业务

连载:告诉你如何设计一个日访问量千万级别的系统,谈oracle的高级设计和开发(2)

接下来正式开篇讲解在实际中大型项目中oracle的高级设计及开发的内容,以下讲解的oracle内容以及示例程序都是基于oracle11R2. 为了防止脱离实际地搞一堆理论,本人尽量用实际工作中的例子来说明问题,当然一些必要的理论有时候还是需要讲解,因为说的内容是高级设计及开发,入门级的SQL以及数据库概念将不会做详细讲解. 绝大多数IT项目,都是围绕数据库进行各种业务的,所以也有人将这类项目称为数据库项目,也就是说数据库是重点,有过项目设计经验的都知道,好的数据库设计,可以让开发和维护变得简单,

了解如何设计和开发基于Http请求的数据接口服务系统

如今互联网的蓬勃发展离不开Http这个应用层面上的网络通信协议的诞生和发展,在经历着信息技术时代,到现在"数据时代"一词屡见不鲜之后,可以洞悉数据在影响着我们生活,昨晚在下载百度地图的离线数据包就发现,广州市的离线数据包明显大于全国其它市区不少. 数据作为一种服务已成常态,比如:12306火车票查询数据接口,商标信息服务接口,甚至车辆违章高发路段数据接口,这些数据来自各行各业并且通过数据接口服务提供给更多需要的人或信息系统. 本文主要介绍如何设计和开发数据接口服务系统,主要涉及到数据接

如何设计一个日访问量千万级别的系统,谈oracle的高级设计和开发(1)

假如要开发一个日访问量百万级别.甚至千万级别访问量的互联网平台,性能和安全是首要考虑的因素.单从性能上讲,主要从以下几个方面考虑: 1)       硬件及网络设备: 2)       分布式.集群.读写分离.CDN加速等: 3)       使用优秀的开发框架,充分利用缓存机制: 4)       良好的数据库设计规划,包括数据库集群,关系型数据库+非关系型数据库结合: 5)       高性能的开发语言编程,特别是数据库部分的编程: 等等. 建设一个中大型互联网平台,是有技术含金量的,抛开硬

关于Egret模块化开发---vip系统

关于Egret模块化开发---vip系统 目录 关于Egret模块化开发---vip系统... 1 前言... 1 一,搭建界面... 1 二,建立数据模型... 3 1)数据模型的搭建: 3 2)数据的建立... 4 3)数据的增删改查... 7 三.做交互, 7 结束... 8 前言 做游戏就是做数据,数据模型的设计,是体验mvc一种基础的设计,用数据驱动界面变化.. 做为一个程序要学会模块化,配置化,脚本化的需求,提防策划的需求变更的可能 例如:做一个VIP系统步骤: 搭建界面 建立数据模