关于Oracle GoldenGate中Extract的checkpoint的理解 转载

什么是checkpoint？

在Oracle 数据库中checkpoint的意思是将内存中的脏数据强制写入到磁盘的事件,其作用是保持内存中的数据与磁盘上的数据一致。SCN是用来描述该事件发生的准确的时间点。

而GoldenGate中出现的checkpoint有着不同的含义。简单的说就是position，位置的意思。它记录了Extract进程在抽取事务时的进度。
使用INFO showch 命令可以查看当前正在运行的Extract进程中所记录的checkpoint。

当GoldenGate被计划内或者是计划外中断了，为了保证事务的连续性我们从哪里续传呢？答案是：哪里中断，哪里继续。在一个繁忙的数据库中用时间戳来衡量OGG抽取进度是不准确的，因为任何一个时间点都有可能截断了正在处理中的事务。准确的记录的方法是参考该事物在发起时所在trail文件的字节位置（RBA）。

startup checkpoint:

Extract进程启动时的信息，用多个参数描述了一个确切的时间点。包括thread,sequence,timestamp,RBA,SCN,redo log
sequence表示redo log、或者archive log的序列号。
RBA表示改时间点处于该sequence号日志文件中的字节地址。
SCN表示Oracle内部时钟

recovery checkpoint:

到目前为止还没结束的并且耗时最长的事务信息。包括thread,sequence,timestamp,RBA,SCN,redo log。
如果源端的抽取进程中断了，那么断点续传的位置就是这里了。

current checkpoint:

当前正在读取的事务信息。包括thread,sequence,timestamp,RBA,SCN,redo log

write checkpoint：
当前正在写入的trail文件信息。包括队列号（sequence）,RBA,时间戳，队列文件
sequence表示trail文件的序号，有别于数据库中的同名概念。例如：trail文件ex000001的sequence为1

RBA表示当前信息在trail文件中的位置，有别于数据库中事务日志的RBA。通常这个RBA的数值等于当前正在写的trail文件的大小。
可以通过ls -al ./dirdat/ex000001来查看该文件的字节数来对比write checkpoint的RBA

下面通过一个屏幕输出来对应一下刚才提到的概念。在实验开始时，还需要再次执行该命令来获取最新的检查点信息。

查看抽取进程ex1的检查点：
GGSCI (node3) 9> info ex1 showch

EXTRACT    EX1       Last Started 2014-11-03 13:23   Status RUNNING  << 进程开始抽取事务的时间，ADD EXTRACT之后就生效了
Checkpoint Lag       00:00:03 (updated 00:00:07 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2014-11-03 15:13:04  Thread 1, Seqno 21, RBA 26012672  << 2个节点的RAC就有2个Checkpoint
                     SCN 0.1614343 (1614343)
Log Read Checkpoint  Oracle Redo Logs
                     2014-11-03 15:13:02  Thread 2, Seqno 29, RBA 6584832
                     SCN 0.1614345 (1614345)

Current Checkpoint Detail:

Read Checkpoint #1  << 抽取进程的读检查点 节点1

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):
    Thread #: 1
    Sequence #: 11
    RBA: 6084096
    Timestamp: 2014-11-02 17:41:26.000000
    SCN: Not available
    Redo File:

Recovery Checkpoint是我们续传时关注的位置  
Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 1
    Sequence #: 21  << 所在队列序号
    RBA: 26012176   << 所在队列中的具体位置
    Timestamp: 2014-11-03 15:13:04.000000  << 事务发起的时间戳
    SCN: 0.1614343 (1614343)
    Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Current Checkpoint (position of last record read in the data source):
    Thread #: 1
    Sequence #: 21
    RBA: 26012672
    Timestamp: 2014-11-03 15:13:04.000000
    SCN: 0.1614343 (1614343)
    Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Read Checkpoint #2  << 抽取进程的读检查点 节点2

Oracle Threaded Redo Log
     
  Startup Checkpoint (starting position in the data source):
    Thread #: 2
    Sequence #: 11
    RBA: 4263936
    Timestamp: 2014-11-02 17:41:26.000000
    SCN: Not available
    Redo File:

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 2
    Sequence #: 29
    RBA: 6584336
    Timestamp: 2014-11-03 15:13:02.000000
    SCN: 0.1614345 (1614345)
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Current Checkpoint (position of last record read in the data source):
    Thread #: 2
    Sequence #: 29
    RBA: 6584832
    Timestamp: 2014-11-03 15:13:02.000000
    SCN: 0.1614345 (1614345)
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Write Checkpoint #1

GGS Log Trail

Current Checkpoint (current write position):
    Sequence #: 47
    RBA: 1124760
    Timestamp: 2014-11-03 15:13:07.093886
    Extract Trail: /goldengate/dirdat/ex

CSN state information:
  CRC: E4-D6-3B-B4
  CSN: Not available

Header:
  Version = 2
  Record Source = A
  Type = 11
  # Input Checkpoints = 2
  # Output Checkpoints = 1

File Information:
  Block Size = 2048
  Max Blocks = 100
  Record Length = 4096
  Current Offset = 0

Configuration:
  Data Source = 3
  Transaction Integrity = 1
  Task Type = 0

Status:
  Start Time = 2014-11-03 13:23:05
  Last Update Time = 2014-11-03 15:13:07
  Stop Status = A
  Last Result = 0

当前源端有100万条记录
[email protected] > select count(*) from snow.t1;

COUNT(*)
----------
   1000000

系统时间为2014-11-03 15:37:08
[email protected] > alter session set nls_date_format=‘yyyy-mm-dd hh24:mi:ss‘;

Session altered.

[email protected] > select sysdate from dual;

SYSDATE
-------------------
2014-11-03 15:37:08

源端插入一条新数据，不提交
[email protected] > insert into snow.t1 values(1000001,‘Snow‘);

1 row created.

[email protected] >

关闭源端所有Extract进程
GGSCI (node3) 4> stop *

Sending STOP request to EXTRACT DP1 ...
Request processed.

Sending STOP request to EXTRACT EX1 ...
Request processed.

观察最新的checkpoint信息
GGSCI (node3) 14> info ex1 showch

EXTRACT    EX1       Last Started 2014-11-03 15:41   Status RUNNING
Checkpoint Lag       00:00:02 (updated 00:00:01 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2014-11-03 15:41:48  Thread 1, Seqno 21, RBA 27887616
                     SCN 0.1620285 (1620285)
Log Read Checkpoint  Oracle Redo Logs
                     2014-11-03 15:41:46  Thread 2, Seqno 29, RBA 7889920
                     SCN 0.1620284 (1620284)

Current Checkpoint Detail:

Read Checkpoint #1

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):
    Thread #: 1
    Sequence #: 21
    RBA: 27644432
    Timestamp: 2014-11-03 15:39:18.000000
    SCN: Not available
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 1
    Sequence #: 21
    RBA: 27887120
    Timestamp: 2014-11-03 15:41:48.000000
    SCN: 0.1620285 (1620285)
    Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Current Checkpoint (position of last record read in the data source):
    Thread #: 1
    Sequence #: 21
    RBA: 27887616
    Timestamp: 2014-11-03 15:41:48.000000
    SCN: 0.1620285 (1620285)
    Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Read Checkpoint #2

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):
    Thread #: 2
    Sequence #: 29
    RBA: 7750160
    Timestamp: 2014-11-03 15:39:16.000000
    SCN: Not available
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 2
    Sequence #: 29
    RBA: 7750160
    Timestamp: 2014-11-03 15:37:40.000000
    SCN: 0.1619666 (1619666)
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Current Checkpoint (position of last record read in the data source):
    Thread #: 2
    Sequence #: 29
    RBA: 7889920
    Timestamp: 2014-11-03 15:41:46.000000
    SCN: 0.1620284 (1620284)
    Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Write Checkpoint #1

GGS Log Trail

Current Checkpoint (current write position):
    Sequence #: 48
    RBA: 1076
    Timestamp: 2014-11-03 15:41:50.718150
    Extract Trail: /goldengate/dirdat/ex

CSN state information:
  CRC: CE-DB-CE-78
  CSN: Not available

Header:
  Version = 2
  Record Source = A
  Type = 11
  # Input Checkpoints = 2
  # Output Checkpoints = 1

File Information:
  Block Size = 2048
  Max Blocks = 100
  Record Length = 4096
  Current Offset = 0

Configuration:
  Data Source = 3
  Transaction Integrity = 1
  Task Type = 0

Status:
  Start Time = 2014-11-03 15:41:29
  Last Update Time = 2014-11-03 15:41:50
  Stop Status = A
  Last Result = 0

修改抽取进程启动位置，两个进程
GGSCI (node3) 7> ALTER EXTRACT ex1, EXTSEQNO 21, EXTRBA 27644432 THREAD 1
EXTRACT altered.

GGSCI (node3) 8> ALTER EXTRACT ex1, EXTSEQNO 29, EXTRBA 7750160 THREAD 2
EXTRACT altered.

重启进程后源端发起提交命名，结束该事务。
[email protected] > commit;

Commit complete.

第1000001条数据插入完成
[email protected] > select count(*) from snow.t1;

COUNT(*)
----------
   1000001

目标端第1000001条数据复制完成！ 
SQL> select count(*) from snow.t1;

COUNT(*)
----------
   1000001

实验结束

http://blog.itpub.net/29047826/viewspace-1328761/

时间： 2024-08-25 21:22:00

关于Oracle GoldenGate中Extract的checkpoint的理解 转载的相关文章

【翻译自mos文章】在OGG (Oracle GoldenGate) 中使用SCHEMATRANDATA的话，需要额外的db patch

在OGG (Oracle GoldenGate) 中使用SCHEMATRANDATA的话,需要额外的db patch 参考原文: Patches needed to support SCHEMATRANDATA in OGG (Oracle GoldenGate) (Doc ID 1426440.1) 适用于: Oracle GoldenGate - Version 11.1.1.1.1 and later Information in this document applies to any

【翻译自mos文章】在Oracle GoldenGate中循环使用ggserr.log的方法

在OGG中循环使用ggserr.log的方法: 参考原文: OGG How Do I Recycle The "ggserr.log" File? (Doc ID 967932.1) 适用于: Oracle GoldenGate - Version 4.0.0 and later Generic Linux 问题 GoldenGate的 ggserr.log 日志文件包括有关 GoldenGate 事件的信息,比如:进程启动,关闭,error ,warning.该文件可能会变的很大.为

Oracle中B-TREE索引的深入理解(转载)

索引概述 索引与表一样,也属于段(segment)的一种.里面存放了用户的数据,跟表一样需要占用磁盘空间.只不过,在索引里的数据存放形式与表里的数据存放形式非常的不一样.在理解索引时,可以想象一本书,其中书的内容就相当于表里的数据,而书前面的目录就相当于该表的索引.同时,通常情况下,索引所占用的磁盘空间要比表要小的多,其主要作用是为了加快对数据的搜索速度,也可以用来保证数据的唯一性.但是,索引作为一种可选的数据结构,你可以选择为某个表里的创建索引,也可以不创建.这是因为一旦创建了索引,就意味着o

Oracle GoldenGate中HANDLECOLLISIONS参数使用详解

HANDLECOLLISIONS 是一个 replicat 进程参数,主要在 initial load 中使用.在 replicat 进程中使用该参数时,即使目标数据库 环境中存在数据完整性问题(如 update.delete 操作遇到缺失行或重复的插入操作),replicat 进程仍然能够继续处理 trail 中的 数据. 如果使用了 HANDLECOLLISIONS 参数,则 replicat 进程将按如下方式处理数据: Missing updates are ignored. Missin

Oracle GoldenGate 12c经典架构安装

本章包括首次安装经典Oracle GoldenGate的说明.安装Oracle GoldenGate将安装运行和管理处理所需的所有组件(不包括其他供应商提供的任何组件(如驱动程序或库),并安装Oracle GoldenGate实用程序. 主题: 设置ORACLE_HOME和ORACLE_SID 数据库要求 安装Oracle GoldenGate 设置ORACLE_HOME和ORACLE_SID 确保将ORACLE_HOME和ORACLE_SID系统环境变量设置为正确的Oracle实例. Orac

为Oracle GoldenGate准备数据库

了解如何为Oracle GoldenGate准备数据库,包括如何配置连接和日志记录,如何在数据库中启用Oracle GoldenGate,如何设置闪回查询以及如何管理服务器资源. 为集成进程配置连接 配置日志记录属性 在数据库中启用Oracle GoldenGate 设置闪回查询 管理服务器资源 2.1 为集成进程配置连接 如果您将使用集成捕获和集成Replicat,则每个都需要tnsnames.ora文件中的专用服务器连接.当您配置这些进程时,您可以指示进程在Extract and Repli

推测Oracle GoldenGate(OGG)目的端 rep进程Checkpoint Lag的计算方法

本文为原创,转载请注明出处. 推测Oracle GoldenGate(OGG)OGG目的端 rep进程Checkpoint Lag的计算方法 背景介绍:如下是OGG目的端的rep进程的显示,当时,OGG源头的传输进程由于网络拥堵的原因,导致传输速度急剧下降,降低为1.5M/分钟.此时,源头已经积压了很多trail file. 也就是说,目的端的rep进程处于"吃不饱"的状态--传输进程的传输速度赶不上rep进程的应用速度. GGSCI (hostb) 5> info repb i

Oracle GoldenGate环境中主库和备库 网络突然中断后，主端的dp进程无法启动的问题

view report dpfull, 现象是 /gg/ggs/dirdat/aa000053 (no surch file or directory) 实际上,此文件在目的端存在的. 处理方法: 1. 目的端ps -ef | grep ggs ,找到server进程,假设server进程的pid是12345 2. 目的端 kill -9 12345 3. 目的端 stop mgr 4. 目的端 start mgr 5. 源端 start dp 6.dp状态ok,问题处理完毕. Oracle G

oracle中extract()函数----用于截取年、月、日、时、分、秒

oracle中extract()函数从oracle 9i中引入,用于从一个date或者interval类型中截取到特定的部分 语法如下: extract ( { year | month | day | hour | minute | second } | { timezone_hour | timezone_minute } | { timezone_region | timezone_abbr } from { date_value | interval_value } ) 只可以从一个da