DBA_Oracle GoldenGate三步骤Extract / Dump / Relicat

2014-12-24 Created By 鲍新建

一、摘要



1.OGG是数据同步软件,或者说是逻辑复制软件,其竞争对手有IBM CDC,DELL shareplex,DSG,DDS等等。

2.OGG软件是需要安装在操作系统上的,Oracle DB软件没有自带OGG软件(至少目前是这样的)

3.OGG软件有三大进程(说四大进程也行):

三大进程:源头抽取进程、源头传输进程、目的端应用进程(即:复制进程)

四大进程:源头抽取进程、源头传输进程、目的端server进程(负责在目的端写入trail文件)、目的端应用进程(即:复制进程)

4.OGG软件有两种trail file

源头的trail file:由源头抽取进程写入。

目的端的trail file: 源头传输进程传输到目的端,由目的端的server 进程写入目的端操作系统的指定路径下。

5.OGG软件中三大进程都有自己的checkpoint(即:检查点,用来记录每种进程读取到什么位置了,写入到什么位置了)

源头抽取进程:有读取检查点 和写入检查点

源头传输进程:有读取检查点 和写入检查点

目的端应用进程:有读取检查点

6.OGG软件三大进程处理trail file的过程:

源头抽取进程:读取oracle redo log(假设源头数据库是oracle),结合抽取进程的参数文件,将redo log中的内容变为OGG自有格式的文件(即trail file),并写入到源头操作系统的指定路径下

源头传输进程:读取“源头抽取进程写入的trail file”,结合传输进程的参数文件,发送需要同步的数据到目的端,在目的端是由server 进程负责写入。

目的端应用进程:读取目的端操作系统的指定路径下的trail file,结合应用进程的参数文件,形成sql语句,在目的端db上执行这些sql语句。

二、Extract Process



三、Dump Process



四、Replicate Process



五、测试



1. Source创建Extract

add extract ext1,tranlog, begin now

add exttrail /u01/ggate/dirdat/lt, extract ext1

view params ext1

2. Source创建Pump

add extract dpump,exttrailsource /u01/ggate/dirdat/lt

add rmttrail /u01/ggate/dirdat/lt, extract dpump

view params dpump

3. Target创建Replicat

3.1 配置进程的checkpoint

edit params ./GLOBAL

GGSCHEMA ggate

CHECKPOINTTABLE ggate.checkpoint

3.2 连接DB的ggate用户,在DB中创建checkpoint表

add checkpoint tableggate.checkpoint

3.3 创建replicat group

add replicatrep1,exttrail /u01/ggate/dirdat/lt, checkpointtable ggate.checkpoint

3.4 修改参数

view params rep1

4. 启动Extract / Dump / Replicat 进程

5. 测试

start ext1

info ext1

info dpump

start rep1

info rep1

验证一下:

--Source DB:

SQL> conn dave/dave;

Connected.

SQL> select count(*) from pdba;

COUNT(*)

----------

2706623

--Target DB:

SQL> select count(*) from pdba;

COUNT(*)

----------

2706623

在Source DB insert 一条数据:

SQL> insert into pdba values(2,sysdate);

1 row created.

SQL> commit;

Commit complete.

SQL> select count(*) from pdba;

COUNT(*)

----------

2706624

到Target DB 查询:

SQL> select count(*) from pdba;

COUNT(*)

----------

2706624

参考:shined - http://www.cnblogs.com/shined/archive/2012/07/12/2587648.html

参考:msdnchina - http://blog.csdn.net/msdnchina/article/details/38347285

时间: 2024-08-15 20:44:10

DBA_Oracle GoldenGate三步骤Extract / Dump / Relicat的相关文章

DBA_Oracle GoldenGate三步骤Dump / Extract / Relicat

占位符 1. Source创建Extract add extract ext1,tranlog, begin now add exttrail /u01/ggate/dirdat/lt, extract ext1 view params ext1 2. Source创建Pump add extract dpump,exttrailsource /u01/ggate/dirdat/lt add rmttrail /u01/ggate/dirdat/lt, extract dpump view pa

DBA_Oracle GoldenGate安装详解(案例)

http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html Oracle GoldenGate软件基于数据库日志结构变化,通过解析源端在线日志或归档日志获得数据增量,再将这些变化应用到目标数据库,从而实现源库和目标库的 数据同步.下面通过一个简单的示例,详细介绍利用GoldenGate实现Oracle数据库之间的同步.基本架构如下图所示: 1. 安装 1.1 下载介质 GoldenGate的安装介质可以

DBA_Oracle GoldenGate简介(概念)

GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标 数据库,从而实现源数据库与目标数据库同步.GoldenGate 可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据 仓库供应.交易跟踪.数据同步.集中/分发.容灾等多个场景下应用. 同时,GoldenGate可以实现一对一.广播(一对多).聚合(多对一).双向.点对

关于Oracle GoldenGate中Extract的checkpoint的理解 转载

什么是checkpoint? 在Oracle 数据库中checkpoint的意思是将内存中的脏数据强制写入到磁盘的事件,其作用是保持内存中的数据与磁盘上的数据一致.SCN是用来描述该事件发生的准确的时间点. 而GoldenGate中出现的checkpoint有着不同的含义.简单的说就是position,位置的意思.它记录了Extract进程在抽取事务时的进度.使用INFO showch 命令可以查看当前正在运行的Extract进程中所记录的checkpoint. 当GoldenGate被计划内或

GoldenGate 配置extract,replicat进程自启动

在GoldenGate中主进程是manager进程,使用start mgr启动.可以在mgr进程中添加一些参数用来在启动mgr进程的同时启动extract和replicat进程 GGSCI (gg01) 130> VIEW params mgr --mgr主进程端口号 PORT 7809 --动态端口,当指定端口不可用时,会从以下列表中选择一个可用端口 DYNAMICPORTLIST 7800-7909 --启动mgr进程启动启动extract进程 AUTOSTART EXTRACT * --当

GoldenGate的Logdump工具使用简介

Logdump工具是GoldenGate提供的一个用于查询.分析.过滤.查看和保存存储在trail文件或extract文件中的数据的工具. 1.启动Logdump工具 [[email protected] ~]$ cd /ogg [[email protected] ogg]$ ./logdump Oracle GoldenGate Log File Dump Utility for Oracle Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_1

Zero Downtime Upgrade of Oracle 10g to Oracle 11g Using GoldenGate — 3

DDL Setup Steps SQL> grant execute on utl_file to ggs; Grant succeeded. Create GLOBALS file [[email protected] ~]$ cd /ggs/ [[email protected] ggs]$ cat GLOBALS GGSCHEMA GGS run marker_setup.sql [[email protected] ggs]$ sqlplus / as sysdba SQL*Plus:

Oracle GoldenGate Logdump工具简要说明

Logdump enables you to search for, filter, view, and save data that is stored in a trail or extract file. 查看记录 [[email protected] ogg]$ ./logdump  Oracle GoldenGate Log File Dump Utility for Oracle Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_1512

Goldengate完成Mysql到Mysql的数据同步

文档参考地址:http://blog.csdn.net/u010587433/article/details/49305019 需求: 使用Goldengate完成Mysql到Mysql的数据同步,源库的o2m-mc库同步到目标库的gmdc库,表名GMQDSJSP,换句话说,就是不同数据库之间表之间数据的同步 实验准备: 系统: CentOS 7.2 mysql版本 :  5.7-12 mysql-1 : 192.168.68.13     mysql-2:192.168.68.14 1.初始化