ODI学习笔记2--ODI产品架构

ODI学习笔记2--ODI产品架构

ODI产品架构:

ODI提供了以下几种管理工具:
Designer 用于定义数据转换逻辑,这是最常用的开发工具,大部分的开发任务,包括data store的定义,interface(数据映射关系)和package(相当于workflow)的创建等,都是在Designer中完成。
Operator用于管理和监控数据转换任务的执行情况,在设计阶段,也可用于调试(debugging)
Topology Manager用于定义物理和逻辑基础架构,如work repository的创建和管理等。
Security Manager用于管理用户权限
以及一个计划代理程序:
Schedule Agent计划代理,用于调度执行数据转换任务。计划代理同时也带有一个数据转换引擎,但是ODI采用E-LT架构,所以基本上计划代理只是将任务传递给目标库,其数据转换引擎很少用到。

可扩展的知识模型(Knowledge Modules)

ODI能够从各种异构的数据库平台和基于信息队列的技术(Web services)加载、转换数据,并且具有灵活性、可扩展性和有效性等,主要是依靠知识模型;

知识模型作为ODI的插件,封装了各种针对面向特定数据源和Target的ETL过程。ODI提供了六种知识模型,如下图所示:

RKM:完成从源系统和目标系统的数据结构的反向工程来形成数据模型的功能。

JKM:完成捕获CDC,执行增量抽取以及工作任务安排的数据模型功能。

LKM:LKM完成从源数据库数据加载到临时表。

CKM:CKM完成数据质量检查。
IKM:IKM完成从临时表的数据加载到目标表。
SKM:SKM完成ODI和WEB服务接口的功能。

Data-Quality Firewalls

通过使用CKM知识模型,仅仅允许那些符合业务规则的数据进入集成进程,以此能够把不符合规则的数据拦在数据源端,从而保证数据质量!

Support for Changed-Data Capture

JKM知识模块负责监测源数据库变化的数据,有些数据库供应商,比如Oracle直接支持CDC,另外一些供应商则通过比如触发器技术捕获DML语句。

Oracle Data Integrator in Relation to Oracle Warehouse Builder

OWB在涉及SOA和非Oracle 数据源方面上无能为力,但两者又是互补的关系,看下图:

ODI能过从基础各种各样异构的数据源,包括Web Services和基于事件的架构。一旦数据被集成复制进入DW Staging area,OWB开始接管接下来的任务,包括创建ODS以及多维模型等。

参见:

http://www.oracle.com/technology/pub/articles/rittman-odi.html

http://snipkingderek.spaces.live.com/blog/cns!EE24905211C3FFD!399.entry

时间: 2024-10-10 02:51:57

ODI学习笔记2--ODI产品架构的相关文章

Citrix XenMobile学习笔记之五:XenMoble架构组件

XenMobile Enterprise包含了电子邮件和网页浏览等安全的移动生产应用程序,并且保障档共享.同步处理和编辑的安全.Citrix凭借这个无可比拟的整合式移动服务,成功在企业移动办公市场上脱颖而出,傲视同侪. 现今的工作模式讲求从各种移动装置上安全和顺利地存取应用程序与资料.员工则需从易用的统一化企业app store,获取移动.Windows.网络及软件即服务(Software as a service,SaaS)应用程序.员工需要能够随时随地检视.编辑.同步处理和分享资料,并在各种

【学习笔记】bootstrap--整体架构

使用Bootstrap框架的最基本HTML代码,可以在此基础上进行自己的扩展,只需要确保文件引用顺序一致即 可.HTML标准模板如下: <!DOCTYPE html> <html> <head> <title>Bootstrap 模板</title> <meta name="viewport" content="width=device-width, initial-scale=1.0"> &l

学习笔记1-安卓系统架构

四层组成. 1.      红色最底层是Linux. 2.      绿色第三方应用库(C语言). 3.      黄色虚拟机,谷歌针对Java开发的虚拟机.(dx→.class→.dex) 4.      蓝色Java语言开发 待补充 ...

[原创]java WEB学习笔记93:Hibernate学习之路---Hibernate 缓存介绍,缓存级别,使用二级缓存的情况,二级缓存的架构集合缓存,二级缓存的并发策略,实现步骤,集合缓存,查询缓存,时间戳缓存

本博客的目的:①总结自己的学习过程,相当于学习笔记 ②将自己的经验分享给大家,相互学习,互相交流,不可商用 内容难免出现问题,欢迎指正,交流,探讨,可以留言,也可以通过以下方式联系. 本人互联网技术爱好者,互联网技术发烧友 微博:伊直都在0221 QQ:951226918 -----------------------------------------------------------------------------------------------------------------

转:大型网站架构学习笔记

前言 最近一直在拜读两本书: 1.李智慧老师的<大型网站技术架构 核心原理与案例分析> http://www.linuxidc.com/Linux/2015-11/125137.htm 2.曾宪杰老师的<大型网站系统与Java中间件实践> http://www.linuxidc.com/Linux/2015-11/125138.htm 看了并结合自己目前的工作进行了思考,感觉获益匪浅.受益良多,自己对大型网站的理解又有了不少的加深,下面分享一下自己的学习笔记. 学习笔记 1.大型网

angular学习笔记(二十八)-$http(6)-使用ngResource模块构建RESTful架构

ngResource模块是angular专门为RESTful架构而设计的一个模块,它提供了'$resource'模块,$resource模块是基于$http的一个封装.下面来看看它的详细用法 1.引入angular-resource.min.js文件 2.在模块中依赖ngResourece,在服务中注入$resource var HttpREST = angular.module('HttpREST',['ngResource']); HttpREST.factory('cardResource

nodejs学习笔记_nodejs和PHP在基础架构上的差别--共享状态的并发

绝大多数对于Node.js的讨论都把关注点放在了处理高并发能力上,做开发的时候一定要明确node内部做出的权衡,以及node应用性能好的原因. node 为javascript引入了一个复杂的概念,:共享状态的并发. node採用一个长期执行的进程 而php在apache中会产生多个进程 例如以下图所看到的: 代码验证: PHP: <?php $i = 0; $i++; echo $i nodejs: var http = require('http'); var i=0; http.creat

大型网站架构学习笔记

前言 最近一直在拜读两本书: 1.李智慧老师的<大型网站技术架构 核心原理与案例分析> 2.曾宪杰老师的<大型网站系统与Java中间件实践> 看了并结合自己目前的项目进行了思考,感觉获益匪浅.受益良多,自己对大型网站的理解又有了不少的加深,下面分享一下自己的学习笔记. 学习笔记 1.大型网站架构的发展史(红字就是每一步发展历程的关键) (1)从一个小网站发展起来,一台服务器,应用程序.数据库.文件等所有资源都在一台服务器上 (2)网站业务的发展,一台服务器逐渐不能满足需求,因此要将

一步一部学习Unity3d学习笔记系1.3 英雄联盟服务器集群架构猜想

说到了网游那就涉及到服务器了,时下最火的属英雄联盟了,我也是它的粉丝,每周必撸一把,都说小撸怡情,大撸伤身,强撸灰飞烟灭,也告诫一下同仁们,注意身体,那么他的服务器架构是什么呢,给大家分享一下, 具体的是什么架构,因为没有源码,也不知道怎么回事,只能根据当前一些经验,还有撸的时候的体验猜想出来的.和实际有偏差,大家勿喷在这里只是分享,和实际的也应该相差不大. 英雄联盟服务器其实就是一个单服,单服下面有一些集群,有用户服务器,的用户服务器实际上就是QQ用户服务器QQ用户也是有服务器集群组成 客户端