goldengate介绍

Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时,Oracle Golden Gate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。

和传统的逻辑复制一样,Oracle GoldenGate实现原理是通过抽取源端的redo log或者archive log,然后通过TCP/IP投递到目标端,最后解析还原应用到目标端,使目标端实现同源端数据同步。以下是OracleGoldenGate的技术架构

1:Manager进程:
Manager进程是GoldenGate的控制进程,运行在源端和目标端上。它主要作用有以下几个方面:启动、监控、重启Goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等。

2:Extract进程:
Extract运行在数据库源端,负责从源端数据表或者日志中捕获数据。

3:Pump进程:
pump进程运行在数据库源端。其作用是如果源端使用了本地的trail文件,那么pump进程就会把trail以数据块的形式通过TCP/IP协议发送到目标端,这通常也是推荐的方式。pump进程本质是extract进程的一种特殊形式,如果不使用trails文件,那么就是extract进程在抽取完数据以后,直接投递到目标端。

4.Trail文件:
为了更有效、更安全的把数据库事务信息从源端投递到目标端。GoldenGate引进trail文件的概念。前面提到extract抽取完数据以后Goldengate会将抽取的事务信息转化为一种GoldenGate专有格式的文件。然后pump负责把源端的trail文件投递到目标端,所以源、目标两端都会存在这种文件。trail文件存在的目的旨在防止单点故障,将事务信息持久化,并且使用checkpoint机制来记录其读写位置,如果故障发生,则数据可以根据checkpoint记录的位置来重传。

5.Replicat进程:
Replicat进程,通常我们也把它叫做应用进程。运行在目标端,是数据传递的最后一站,负责读取目标端trail文件中的内容,并将其解析为DML或DDL语句,然后应用到目标数据库中。

6.GGSCI:
GGSCI是GoldenGate Software Command Interface 的缩写,它提供了十分丰富的命令来对Goldengate进行各种操作,如创建、修改、监控GoldenGate进程等等

GoldenGate应用的拓展结构、支持平台和数据库

本文所有内容来自互联网,感谢作者分享!如有雷同,不胜荣幸!

goldengate介绍

时间: 2024-10-06 19:27:49

goldengate介绍的相关文章

转:Oracle GoldenGate学习之Goldengate介绍

转自:http://blog.sina.com.cn/s/blog_a32eff28010136d9.html 日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活.GoldenGate TDM 软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,其复制过程简图如下: 如上图所示,GoldenGate TDM的数据复制过程如下: 利用捕捉进程(Capture Process)在源系统端读取On

Oracle GoldenGate学习之Goldengate介绍

Oracle GoldenGate学习之Goldengate介绍 (2012-10-02 17:07:27) 标签: 检查点 数据传输 队列 进程 分类: Goldengate Goldengate介绍 GoldenGate TDM(交易数据管理)软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活.GoldenGate TDM 软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台

Oracle Goldengate 介绍

GoldenGate软件是一种基于日志的结构化数据复制软件.GoldenGate 能够实现大量交易数据的实时捕捉.变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟. GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等 数据复制的拓扑结构有如下几种 Goldegate的应用场景 A static extraction of data records from one database and the loading of those rec

Oracle Goldengate 12.3.0.1的目录介绍

使用 安装完成后,执行create subdirs命令,将创建如下目录:在当前目录/oggsc/ogg下创建子目录/oggsc/ogg/dirprm: Parameter file   (参数文件目录)          /oggsc/ogg/dirrpt: Report file      (报告文件目录)         /oggsc/ogg/dirchk: Checkpoint file  (检查点文件目录)        /oggsc/ogg/dirpcs: Process status

基于OGG的Oracle与Hadoop集群准实时同步介绍

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段.近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍.Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决. 安装与基本配置 环境说明 软件配置 角色 数据存储服务及版本 OGG版本 IP 源服务器 OracleRelease11.2.0.1 Oracle GoldenGate 11.2

GoldenGate复制单表开并行

最近有几项业务下线,需要从一张表中删除6.8亿多条数据.想办法把数据删除掉了,但对应的ogg灾备端复制时有了的延迟,而且延迟的时间起来越长. 对于表太多造成的延迟可以把所有表分为多个组来做复制,于是想复制进程是否可以对单表复制开并行.上网查到了相关的资料,可以使用@RANGE函数对单表作表内的拆分,通过对表上主键列作hash算法将该表上发生的变更均分到多个replicat上来降低单个replicat组件的负载. 动手实验一下: ogg搭建过程不再重复,从网上就可以查到. 实验过程:模拟在源端对表

Oracle数据库集群容灾实施与维护(RAC+DataGuard+GoldenGate)培训教程

套餐介绍: 风哥Oracle数据库集群容灾(RAC+DataGuard+GoldenGate)实施与维护培训教程套餐)包括内容: Oracle12c DataGuard容灾实施与维护1+1, Linux系统Oracle RAC 12C安装实施与维护, Oracle11gR2 RAC下DataGuard容灾实施与维护2+1, Linux系统Oracle RAC 11gR2安装与维护, Linux系统上安装Oracle12c数据库, Linux上安装Oracle11g数据库, Linux系统安装Or

GoldenGate中使用FILTER,COMPUTE 和SQLEXEC命令

本文主要介绍OGG中一些过滤或计算函数的用法,以及sqlexec的基本用法 SQLPREDICATE 在使用OGG初始化时,可以添加此参数到extract中,用于选择符合条件的记录,下面是OGG官方文档中的描述 : "在用OGG初始化数据时,使用SQLPredicate是比where或filter更好的一个选项.使用此语句比其它参数初始化更快,因为它直接作用于SQL语句,告诉OGG不应该取所有数据之后再过滤(这正是其它参数的运行方式),而是应该只取需要的部分." 如下 TABLE gg

Oracle GoldenGate视频教程

Oracle GoldenGate零基础入门培训--安装.配置.诊断 课程学习地址:http://www.xuetuwuyou.com/course/158 课程出自学途无忧网:http://www.xuetuwuyou.com 一.课程介绍: 本课程通过理论讲解以及实战操作的方式,向大家阐述了GoldenGate数据复制软件的产品体系.技术架构.安装配置.数据初始化.数据复制及操作.安全控制等相关内容.课程结合讲师的理解和实际工作经验对部分难点.重点.易错点进行了比较深入的探讨,希望可以为大家