Oracle Data Integrator 12c----简单CDC(Simple CDC)

Simple CDC最简单的一种 CDC。在这里,每一张 CDC 的表的变化都是独立捕获的,不需要考虑多张存在主外键引用关系的表之间的数据一致性。

1 环境准备

源表:ODI_SRC.DEPT

目标表:ODI_TAG.DEPT

配置拓扑结构见ODI Studio拓扑结构的创建与配置(Oracle)

模型反向工程见:Oracle Data Integrator 12c-模型(Model)和 数据存储(DataStore)

2导入并配置JKM

首先在项目中导入 JKM JKM Oracle Simple

JKM 是为表生成并捕获日志的知识模块,需要在模型或表上面进行配置。

编辑模型ODI_SRC的日记记录,选择简单日记记录模式,并选择 JKM Oracle Simple:

3启用 CDC

ODI 提供简易的界面来启用 CDC,包括下面的步骤:添加到 CDC, 订阅 CDC,启动日记。

首先右键模型ODI_SRC(或者右键数据存储EMP)→已更改数据捕获→添加到CDC

点击刷新按钮可以看到模型ODI_SRC中的表的图表发生了变化,出现了黄色的小时钟:

如果没有黄色的小时钟表,可以在工具→首选项勾选上在树中显示CDC内容

接下来从模型ODI_SRC的弹出菜单中选择启动日记(也可以对某一张表启动日记):

对于简单 CDC,启动日记的时候可以输入订阅的用户名。在弹出的窗口中录入订阅的用户名,如 Simple,点击添加订户:

点击确定完成:

这将会启动一个会话,

请在 Operator 中查看会话是否成功完成。这个会话会在数据库中创建一些对象:CDC 的数据字典表(SNP开头),日记表和视图(通常是J$JV$开头),trigger(通常以T$开头)。

可以发现EMP表,DEPT表上多了触发器,内容分别如下

触发器T$EMP(如果你只在表Dept上而不是模型上启动了日志,这没有这个)

create or replace trigger ODI_SRC_WORK.T$EMP

after insert or update or delete on ODI_SRC.EMP

for each row

declare

V_FLAG VARCHAR(1);

V_EMPNO NUMBER(4);

begin

if inserting then

V_EMPNO := :new.EMPNO;

V_FLAG := ‘I‘;

end if;

if updating then

V_EMPNO := :new.EMPNO;

V_FLAG := ‘I‘;

end if;

if deleting then

V_EMPNO := :old.EMPNO;

V_FLAG := ‘D‘;

end if;

insert into ODI_SRC_WORK.J$EMP

(

JRN_SUBSCRIBER,

JRN_CONSUMED,

JRN_FLAG,

JRN_DATE,

EMPNO

)

select JRN_SUBSCRIBER,

‘0‘,

V_FLAG,

sysdate,

V_EMPNO

from ODI_SRC_WORK.SNP_SUBSCRIBERS

where JRN_TNAME = ‘ODI_SRC.EMP‘

/* The following line can be uncommented for symetric replication */

/* and upper(USER) <> upper(‘ODI_SRC‘) */

;

end;

触发器T$DEPT

create or replace trigger ODI_SRC_WORK.T$DEPT

after insert or update or delete on ODI_SRC.DEPT

for each row

declare

V_FLAG VARCHAR(1);

V_DEPTNO NUMBER(2);

begin

if inserting then

V_DEPTNO := :new.DEPTNO;

V_FLAG := ‘I‘;

end if;

if updating then

V_DEPTNO := :new.DEPTNO;

V_FLAG := ‘I‘;

end if;

if deleting then

V_DEPTNO := :old.DEPTNO;

V_FLAG := ‘D‘;

end if;

insert into ODI_SRC_WORK.J$DEPT

(

JRN_SUBSCRIBER,

JRN_CONSUMED,

JRN_FLAG,

JRN_DATE,

DEPTNO

)

select JRN_SUBSCRIBER,

‘0‘,

V_FLAG,

sysdate,

V_DEPTNO

from ODI_SRC_WORK.SNP_SUBSCRIBERS

where JRN_TNAME = ‘ODI_SRC.DEPT‘

/* The following line can be uncommented for symetric replication */

/* and upper(USER) <> upper(‘ODI_SRC‘) */

;

end;

4测试是否能够捕获变化

往 DEPT 中插入一行数据数据。

insert into odi_src.dept (deptno, dname, loc) values (‘60‘, ‘assitant‘, ‘boston‘);

然后查询日记表:

select * from odi_src_work.j$dept;

我们可以看到变化被捕捉到了日记表。

这时我们也可以在 ODI 中查看日记数据:

5创建接口将变化数据同步到目标

在项目ODI_Exercise中创建接口 Simple_CDC_Dept

在关系图中将 ODI_SRC 中的 EMP 添加到源,将 ODI_TRG中的 EMP 添加到目标数据存储,并自动映射。

然后选中源数据存储,选中“仅以进行日记记录的数据”,

指定日志过滤器,过滤器的内容是针对订户的,下面的例子表示当前接口将消费’Simple订户的数据:

其他的和一般的映射相同

然后配置好 LKM(使用LKM SQL TO Oracle),IKM(使用 Oracle Increamental Update),和 CKM。

6执行 CDC 接口

执行Simple_CDC_Dept,并在 Operator 中查看结果,我们看到插入了一条记录。

在模型中查看 ODI_TAG的 Dept 表的数据:

我们可以看到变化的数据数据被同步过来了:

查看源表DEPT的日记数据:

我们看到已经没有了变化数据:

这说明一旦 ODI 接口消费了一张表的变化数据,相应的订户的日记数据将被清空。这种方式非常简单,但是对于多张存在主外键引用关系的表的数据同步将会有可能造成数据不一致的情况。对于这种复杂的情况需要一致性 JKM。

7创建包轮询变化数据

变化数据随时都可能生成,因此需要不断的将新的变化同步过去。有两种方法可以完成这个任务。

     第一种办法可以通过计划实现。例如创建一个计划,每半个小时执行一次同步接口。这样可以每半个小时将变化数据同步到目标。

     第二种办法是在创建一个包,利用ODI 提供的 CDC 相关的工具轮询日记,一旦有了变化就调用同步接口。

第一种办法要注意计划的重复间隔,要保证在重复调用之前,上一次调用已经完成,一般可以用于定期同步的需求。

第二种办法则可以满足实时性较高的需求。

首先创建一个包:Simple_CDC_Dept_Pkg

在关系图中添加用于 CDC 的工具: OdiWaitForLogData。如图配置属性:

按上面的配置将每1秒钟轮询DEPT的日记表,直到发现1条变化记录。

将映射Simple_CDC_Dept拖拽到包中

添加OdiSleep

完成接口后调用 OdiSleep 等待1秒,然后继续轮询。

执行包,我们发现这个包会一直在执行,并处于 OdiWaiteForLogData 这一步。用下面的 SQL 插入数据:

往 DEPT 中插入一行数据数据。

insert into odi_src.dept (deptno, dname, loc) values (‘70‘, ‘assitant‘, ‘boston‘);

从 Operater 中我们发现这个会话会完成一个循环,

查询 ODI_TAG中的 DEPT 表,我们也可以发现数据已经同步过去。

我们可以继续删除源表的数据,我们可以看到数据很快会被同步过去。

8清除日志

删除运行的包

删除日记

这个操作将启动一个会话,请在 Operator 中检查会话执行的结果。如果成功完成,请检查数据库,你应该可以看到 CDC 相关的对象:触发器和日记表和视图都被删除掉了。

从CDC中删除

完成之后刷新,应该可以看到表的图标上面的小时钟消失了。模型上已进行日记记录的表为空

时间: 2024-11-06 15:51:00

Oracle Data Integrator 12c----简单CDC(Simple CDC)的相关文章

Oracle Data Integrator 12c 安装(ODI安装)

企业版安装步骤(包含独立安装步骤) 官网下载Oracle Data Integrator 12cR2 (12.2.1.0.0)地址 如上图,在安装ODI时,有两种选择,第一种是独立版安装,只需安装Oracle Data Integrator 12cR2 ,第二种是企业版安装,需要先安装Oracle Fusion Middleware Infrastructure ,再安装Oracle Data Integrator 12cR2 . 可能遇到的问题: 此安装程序必须使用 Java 开发工具包 (J

Oracle Data Integrator 12c - Creating a Collocated Agent

http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_12c/odi12c_agent_collocated/index.html

Oracle Data Integrator 12c - Creating a Standalone Agent

http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_12c/odi12c_agent/index.html

Oracle Data Integrator 12c - Creating and Connecting to ODI Master and Work Repositories

https://apexapps.oracle.com/pls/apex/f?p=44785:24:::NO::P24_CONTENT_ID,P24_PREV_PAGE:7946,2

Oracle Data Integrator 12c: New Features of Version 12.1.3

https://apexapps.oracle.com/pls/apex/f?p=44785:24:::NO::P24_CONTENT_ID,P24_PREV_PAGE:9924,2

Install and Configure Oracle Data Integrator 12c on Non-GUI Platforms

http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_12c/odi_12c_silent_install/index.html#section1

Integrating Oracle Data Integrator 12c (ODI) and Oracle GoldenGate 12c (OGG)

http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_12c/ogg_odi_12c_int/index.html#overview

Oracle Data Integrator 12c - Creating Procedures and Scenarios

  http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_12c/odi12c_proc_scenario/index.html

Oracle Data Integrator 12c----一致性 CDC(Consistent CDC)

一致性 CDC 中引入了变化集的概念.一个变化集中可以包括多个相互存在关联关系(如主外键引用关系)的表.CDC 在捕获和发布一个变化集中的变化时能够保证数据的一致性.这个练习介绍如何使用能够保证一致性的CDC. 1 环境准备 源表:ODI_SRC.DEPT,ODI_SRC.EMP 目标表:ODI_TAG.DEPT, ODI_TAG.EMP 配置拓扑结构见ODI Studio拓扑结构的创建与配置(Oracle) 模型反向工程见:Oracle Data Integrator 12c-模型(Model