Sybase to Oracle Golden Gate

Sybase 安装Golden Gate:

  1. 下载,然后create subdirs.并且在两端配置好mgr,设置好端口7809
  2. 创建golden gate用户ogguser,并且给它授权sa和replication

    [[email protected] ~]# su - sybase
    [[email protected] ~]$ vi .bash_profile --设置sybase路径还有DSQUERY=ASE1
    [[email protected] ~]$ isql -Usa -P111111 -SASE1
    1> sp_addlogin ogguser,ogguser
    2> go
    Password correctly set.
    Account unlocked.
    New login created.
    (return status = 0)
    1> sp_adduser ogguser
    2> go
    New user added.
    (return status = 0)
    1> sp_role ‘grant‘,replication_role, ogguser
    2> go
    Authorization updated.
    (return status = 0)
    1> sp_role ‘grant‘,sa_role,ogguser
    2> go
    Authorization updated.
    (return status = 0)
    1> exit

  3. 设置第二断点,必须拥有sa权限

    [[email protected] ggs]$ isql -Uogguser -Pogguser -SASE1
    1> use edr
    2> go
    1> dbcc settrunc(‘ltm‘,‘valid‘)
    2> go
     ltm_truncpage ltm_trunc_state db_rep_stat gen_id      dbid
         dbname
         lti_version
     ------------- --------------- ----------- ----------- ------
         ------------------------------------------------------------
         -----------
            205079               1           1           0      6
         edr
                   0 

  4. 给要记录的表格加日志

    GGSCI (localhost.localdomain) 1> dblogin sourcedb edr@ASE1 userid ogguser password ogguser
    
    2015-04-22 20:46:17  INFO    OGG-04508  Oracle GoldenGate is searching the Sybase CS library version that is to be used. Please ignore any error that is reported by Sybase as a part of this search process.
    
    2015-04-22 20:46:17  INFO    OGG-04509  Oracle GoldenGate is using the Sybase CS library version: [15,701].
    
    2015-04-22 20:46:17  INFO    OGG-04501  Charset information: Client charset: [utf8], Database/Server charset: [iso_1], CHARSETCONVERT: [ON].
    Successfully logged into database.
    
    GGSCI (localhost.localdomain) 2> list table dbo.entity
    dbo.entity
    
    Found 1 tables matching list criteria.
    
    GGSCI (localhost.localdomain) 3> add trandata dbo.*

  5. 生成定义文件

    GGSCI (localhost.localdomain) 1> edit param defgen
    
    defsfile ./dirout/source.def
    sourcedb edr@ASE1 userid ogguser password ogguser
    TABLE dbo.entity_address;
    TABLE dbo.entity;
    ...
    GGSCI (localhost.localdomain) 1> shell ./defgen paramfile dirprm/defgen.prm
    Definitions generated for 29 tables in ./dirout/source.def.

  6. 编辑初始抽取参数:edit param eedr0

    EXTRACT eedr0
    sourcedb edr@ASE1 userid ogguser password ogguser
    RMTHOST 192.168.137.11, MGRPORT 7809
    RMTTASK replicat, GROUP pedr0
    TABLE dbo.entity_address;
    TABLE dbo.entity;
    ...

    GGSCI (localhost.localdomain) 4> edit param eedr0

    GGSCI (localhost.localdomain) 5> add extract eedr0, sourceistable

  7. 编辑目标端的:edit param pedr0 并且加入pedr0: add replicat pedr0, specialrun 注意replicat不需要手动启动,只需要在source启动extract即可。

    EPLICAT pedr0
    USERID goldengate, PASSWORD goldengate
    sourcedefs ./dirdef/source.def
    handlecollisions
    discardfile ./dirrpt/pedr0.dsc, append, megabytes 10
    MAP dbo.entity_address,
    TARGET SWAT.ENTITY_ADDRESS,
    COLMAP(
    USEDEFAULTS,
    STATE_CODE = state_code,
    CITY = city,
    STREET1 = street1,
    STREET2 = street2,
    ZIP = zip,
    IS_BAD_ADDRESS = bad_address )
    ;

  8. 在source启动extract: start extract eedr0 并且查看它 info eedr0

    --在这里列举一些错误情况:
    --1
    2015-04-24 08:59:10  WARNING OGG-01194  EXTRACT task PT0 abended : Bad column length (8) specified for column d in table dbo.t, maximum allowable length is 3.
    --这个是源和目标端的列类型不一样,一个是字符,一个是数值,使用了方程@NUMSTR来转换,仍然报错。
    --2
    2015-04-24 08:27:56  WARNING OGG-01194  EXTRACT task PEDR0 abended : There is no trail to reposition to when doing direct load task。
    --这个一般是数字冲突造成的错误,两个情况,一个是类的数值类型不一样,没有用方程转换是报的错,用handlecollisions不管用,用方程转换以后,报另外一个错。另一个情况是主键冲突,有相同的主键值,handlecollisions。
    --3
    --当只有部分列参与mapping的时候,源和目标端必须有主键,如果全部列加入,那么主键会极大提高效率,如果没有主键,goldengate就会将阵列当成主键,开销巨大。
    --4
    --主键的列必须参加mapping。

时间: 2024-12-26 20:30:45

Sybase to Oracle Golden Gate的相关文章

[Oracle] Golden Gate - 概念和机制

Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉.变换.投递. OGG支持的异构环境有: OGG的特性: 对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制 以交易为单位复制,保证交易一致性:只同步已提交的数据 高性能 智能的交易重组和操作合并 使用数据库本地接口访问 并行处理体系 灵活的拓扑结构:支持一对一.一对多.多对一.多对多和双向复制等 支持数据过滤和转换 可以自定义基于表和行的过滤规则. 可以对实时数据执行灵活影射和变换. 提供数据压缩和加密:

Oracle Golden Gate体系架构详解(转载)

摘自ITEYE czmmiao  http://czmmiao.iteye.com/blog/1550877  GoldenGate简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.

转://Oracle Golden Gate 概念和原理

引言:Oracle Golden Gate是Oracle旗下一款支持异构平台之间高级复制技术,是Oracle力推一种HA高可用产品,简称"OGG",可以实现Active-Active 双业务中心架构 一.Golden Gate 特点 1.实时数据复制 2.异构平台数据同步 3.支持断点续传,不影响系统连续运行 4.高性能,属于轻量级软件 5.保证数据引用完整性和事物一致性 6.整合ETL Tools Message Service 7.灵活拓扑结构 1:1 1:N N:1 N:N 双向

Oracle golden gate 技术详解

一.系统概述 Oracle Golden Gate (简称OGG)是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志(redo log)或归档日志(archive log)获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源端数据库与目标端数据库同步.OGG可以实现不通平台(包括不通操作系统,数据库)实现大量数据亚秒一级的实时复制,从而可以在业务连续性保障.在线报表.数据仓库.交易跟踪.数据同步.集中/分发.容灾备份.数据库升级和移植.异地或同城双活业务中心等多个场景下应

ORACLE GOLDEN GATE oracle同步数据至kafka

一.服务器信息 ip   软件版本 ogg版本 软件包 操作系统版本 OGG安装路径 10.1.50.52 源 oracle11.2.0.4 12.2.0.1.1 V100692-01.zip centos6.9 /data/ogg 10.0.71.102 目标 kafka0.10 12.2.0.1.160823 123010_ggs_Adapters_Linux_x64.zip centos7.3 /data/ogg 二.源端安装OGG 1.解压V100692-01.zip unzip V10

Golden Gate 相关组件介绍:

OGG组件: Manager: 启动其它进程 Collector Extract Data Pump:可选进程,建议使用 Replicat Trails: 可以压缩,加密 Checkpoint OGG进程组(process group) Process Group: process parameter file:dirprm checkpoint file: dirchk 其它文件:dirrpt(report文件:.rpt和discard文件:.dsc ogg12c自动创建),dirdef,di

Golden Gate 特点及用途

Golden Gate 特点 1.实时数据复制 2.异构平台数据同步 3.支持断点续传,不影响系统继续运行 4.高性能,属于轻量级软件 5.保证数据引用完整性和事务一致性 6.整合 ETL Tools   Message Service 7.灵活的拓扑结构     1:1    1:N     N:1    N:N  双向复制 8.复制冲突检测和解决 9.支持数据压缩和加密 10. TCP/IP      WAN    LAN 11. 根据事务大小和数量自动管理内存 12.支持多活业务中心 13

DBA_Oracle Golden Gate简介(概念)

DBA DBA_Oracle Golden Gate简介(概念)

sql: sybase 和 oracle 比较

1. sybase 和 oracle 比较 http://blog.itpub.net/14067/viewspace-1030014/ Oracle采用多线索多进程体系结构 Sybase采用单进程多线索体系结构 Oracle和Sybase都采用多线索. 采用多线索的模式,能用较少的线索管理大量的用户进程;并且,线索进程是动态可调整的,当用户数增加时, 线索进程也会阶段性地自动增加;当用户数减少时,线索进程也会自动减少.多线 索结构,大大降低了Oracle和Sybase对系统资源的占用,提高了系