Oracle Goldengate和Oracle Data Integrator的初步认识

免责声明:
    本文中使用的部分图片来自于网络,如有侵权,请联系博主进行删除

1. Oracle Glodengate是什么?

GoldenGate是oracle的一种基于数据库日志的数据同步软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化全部或者部分的应用到目标数据库,实现源数据库与目标数据库实时同步。

GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制。

GoldenGate的工作原理如下:

GlodenGate的主要的优点有:

1. 高性能:通过非侵入式的设计,底层的数据传输等,实现了亚秒级的数据延迟

2. 灵活扩展性:开放模块化的结构,支持异构的源端和目标端。

3. 可靠性:通过事务顺序提交,合理的检查点机制,以及可靠的数据传输机制,支持断点续传,保证了数据的完整性和可靠性。

GlodenGate的主要担心的问题是:

1. 要实现数据同步,需要在源端数据库和目标端数据库分别安装GoldenGate的介质。在某些数据集成环境下源端数据库可能会限制使用。

2. 要支持GoldenGate需要对源数据库进行一些参数设置(比如:开启归档日志,并开启最小附加日志模式当然这些设置默认基本上生产库的数据库中都会配置)。

GlodenGate的应用场景主要有:

1. 数据库的实时灾备。

2. 数据集成时的数据抽取(看中其可靠性的一点)。

2. Oracle Data Integrator是什么?

Oracle ODI是使用E-LT的理念(Extract、Load & Transform,即抽取、装载、转换)设计出来的数据抽取/数据转换工具。主要用来做数据的清洗加工,尤其是在做数据集成项目以及BI项目的源数据抽取时特别有用。

主要优点:

1. 支持异构数据:当数据源或者目的不是Oracle数据库,ODI能够生成针对那个数据源的native的SQL操纵语句。

2. 实时数据集成的环境:ODI能够支持CDC(Change Data Capture),从而完成近实时的数据集成。

3. 在数据抽取集成过程中可以和SOA集成,ODI本身提供了call web service的机制,并且ODI的接口也可以暴露为webService,从而可以和SOA环境进行交互。

主要问题:

1. 不支持数据的数据的断点续传等,因此在大规模数据集成时,尤其是远距离的数据集成时,使用其他的手段(比如:OGG)来保证数据的完整性和可靠性。

3. 在做大规模数据集成项目中,OGG和ODI分别起什么作用?有哪些可用的模式

1. 简单的模式,直接使用ODI,进行数据抽取工作

优点:

1.部署简单,适合小范围的数据集成。

2. 使用OGG和ODI来进行数据抽取工作。

优点:

1.通过OGG模块将各业务系统的数据

4. 参考文档:

1.zhoujiongfield《关于前阵子使用GlodenGate的一个总结文档》

 

 

作者:sdjnzqr
出处:http://www.cnblogs.com/sdjnzqr/
版权:本文版权归作者和博客园共有
转载:欢迎转载,但未经作者同意,必须保留此段声明;必须在文章中给出原文连接;否则必究法律责任

Oracle Goldengate和Oracle Data Integrator的初步认识

时间: 2024-08-07 18:27:55

Oracle Goldengate和Oracle Data Integrator的初步认识的相关文章

Oracle GoldenGate对接 Oracle 11g和Kafka

使用system用户登陆oracle 的sqlplus sqlplus "system/oracle" as sysdba 首先检查oracle 是否已经开启 Archive logging archive log list; 如果显示以下错误,则证明没有开启 ORA-01031: insufficient privileges 用户可以使用以下命令查看oracle 是否已经开启了 自动归档模式 select name,log_mode from v$database; LOG_MOD

Oracle GoldenGate从oracle db 到非oracle db的初始化数据同步的方法

非oracle db以 sqlserver为样例说明: 我的思路 A :oracle db 生产 B: oracle db 中间机 C: sqlserver db 目的端 A-> B->C 注意:B上既有rep进程也有ext进程,此时.C上也须要建立针对B的rep进程. A->B能够完毕 在线的完毕初始化同步(基于scn号的expdp) A->B的初始化做完之后,stop 掉 B的rep进程,此时B库为静态数据库,此时进行B->C的同步(使用etl工具 or sqlserve

Oracle Goldengate REPLICAT启动时报正在运行解决办法

stop replicate时报ERROR: opening port for REPLICAT MYREP (TCP/IP error: Connection refused). start replicate时报REPLICAT xxx is already running. 原因是dirpcs目录下对应的xxx.pcs文件没有正常删除. 解决办法:删除pcs文件,检查是否有删除权限. 以下是引用国外的一篇文章: We use Oracle Goldengate to replicate d

使用 Oracle GoldenGate 在 Microsoft SQL Server 和 Oracle Database 之间复制事务

使用 Oracle GoldenGate 在 Microsoft SQL Server 和 Oracle Database 之间复制事务 作者:Nikolay Manchev 分步构建一个跨这些平台的简单事务复制示例. 2011 年 8 月发布 大多数关注数据复制的 Oracle 技术专家都熟悉 Oracle Streams.在 2009 年之前,Streams 一直是推荐使用的最流行的 Oracle 数据分发技术. 2009 年 7 月,Oracle 收购了 GoldenGate 这一数据库复

Zero Downtime Upgrade of Oracle 10g to Oracle 11g Using GoldenGate — 3

DDL Setup Steps SQL> grant execute on utl_file to ggs; Grant succeeded. Create GLOBALS file [[email protected] ~]$ cd /ggs/ [[email protected] ggs]$ cat GLOBALS GGSCHEMA GGS run marker_setup.sql [[email protected] ggs]$ sqlplus / as sysdba SQL*Plus:

oracle goldengate 远程捕获和投递

很早之前,OGG只支持部署在数据库主机上,这叫本地化部署.而现在OGG支持远端部署,即OGG软件不安装在数据库主机上,而是安装在单独的机器上,负责数据抽取和投递. 这样做的好处: l 易于管理 - 在单独的服务器上运行Oracle GoldenGate时,您可以更好的管理OGG,降低对生产数据库的影响,比如硬件升级升级,性能调整,软件修补和升级等操作变得更易于管理,风险更低.另一方面,从长远来看,您需要集中管理来监督所有复制操作,将Oracle GoldenGate安装与数据库服务器进行混合,使

Oracle GoldenGate 12c经典架构安装

本章包括首次安装经典Oracle GoldenGate的说明.安装Oracle GoldenGate将安装运行和管理处理所需的所有组件(不包括其他供应商提供的任何组件(如驱动程序或库),并安装Oracle GoldenGate实用程序. 主题: 设置ORACLE_HOME和ORACLE_SID 数据库要求 安装Oracle GoldenGate 设置ORACLE_HOME和ORACLE_SID 确保将ORACLE_HOME和ORACLE_SID系统环境变量设置为正确的Oracle实例. Orac

Oracle Data Integrator 12c 安装(ODI安装)

企业版安装步骤(包含独立安装步骤) 官网下载Oracle Data Integrator 12cR2 (12.2.1.0.0)地址 如上图,在安装ODI时,有两种选择,第一种是独立版安装,只需安装Oracle Data Integrator 12cR2 ,第二种是企业版安装,需要先安装Oracle Fusion Middleware Infrastructure ,再安装Oracle Data Integrator 12cR2 . 可能遇到的问题: 此安装程序必须使用 Java 开发工具包 (J

Oracle Data Integrator 12c----简单CDC(Simple CDC)

Simple CDC最简单的一种 CDC.在这里,每一张 CDC 的表的变化都是独立捕获的,不需要考虑多张存在主外键引用关系的表之间的数据一致性. 1 环境准备 源表:ODI_SRC.DEPT 目标表:ODI_TAG.DEPT 配置拓扑结构见ODI Studio拓扑结构的创建与配置(Oracle) 模型反向工程见:Oracle Data Integrator 12c-模型(Model)和 数据存储(DataStore) 2导入并配置JKM 首先在项目中导入 JKM JKM Oracle Simp