12C数据库Goldengate同步异构数据库Kafka中间件之二

前两天测试环境的需求将上线生产环境，需求还是
a. 数据源：SSP库 ssp.m_system_user，Oracle DB 12.1.0.2.0，Ogg Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401_FBO
b. 数据目标：MySQL DLS库 DLS_SYSTEM_USER
c.kafka集群：10.1.1.247 ，Ogg Version 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608

由于oracle 12c已经是多租户架构，在使用OGG同步的时候，需要考虑下面一些情况

一个 CDB包含多个PDB
抽取模式只能是integrated(集成)模式，不支持claasic capture传统方式捕获；
因为要使用integrated extract，因此，需要能访问log mining server，而这个只能从cdb$root中访问；
源端要使用common user，即c##ogg这种用户来访问源端DB，这样能访问DB的redo log & all pdbs。
在GGSCI或参数文件中，可以使用pdb.schema.table来访问具体的表或序列；
可以在参数文件 中使用sourceCatalog参数，指定一个PDB，后面的参数中只需要schema.table即可；
目标端每个pdb要有一个replicat进程，即一个replicat进程只能投递到一个PDB，不能投递到多个。
源端OGG用户需要赋权：dbms_goldengate_auth.grant_admin_privilege(‘C##GGADMIN’,container=>‘all’)，同时建议将ogg的用户设置赋权为：grant dba to c##ogg container=all;
源端DB除了以前要打开归档, force logging, 最小附加日志，可能还需要打开一个开关：alter system set enable_goldengate_replication=true;

具体实施步骤；
1、为要同步的表添加附加日志
dblogin userid [email protected],password OGG_PROD
add trandata ssp.m_system_user

2、 添加抽取进程
add extract EXT_KAF4,integrated tranlog, begin now --12c区别
add EXTTRAIL ./dirdat/k4, extract EXT_KAF4,MEGABYTES 200

GGSCI (salesdb as [email protected]/SALESPDB) 17> dblogin useridalias ggroot
Successfully logged into database CDB$ROOT.
--得在cdb里面注册ext进程
register extract EXT_KAF4 database container(SALESPDB)

edit params EXT_KAF4

extract EXT_KAF4
userid c##ggadmin,PASSWORD ggadmin
LOGALLSUPCOLS
UPDATERECORDFORMAT COMPACT
exttrail ./dirdat/k4,FORMAT RELEASE 12.1
SOURCECATALOG SALESPDB
table ssp.m_system_user;

3、添加投递进程：
add extract PMP_KAF4, exttrailsource ./dirdat/k4
add rmttrail ./dirdat/b4,EXTRACT PMP_KAF4,MEGABYTES 200

eidt params PMP_KAF4

EXTRACT PMP_KAF4
USERID c##ggadmin,PASSWORD ggadmin
PASSTHRU
RMTHOST 10.1.1.247, MGRPORT 9178
RMTTRAIL ./dirdat/b4,format release 12.1
SOURCECATALOG SALESPDB
table ssp.m_system_user;

4.添加初始化进程
ADD EXTRACT ek_04, sourceistable ---源端添加

EXTRACT ek_04
USERID c##ggadmin,PASSWORD ggadmin
RMTHOST 10.1.1.247, MGRPORT 9178
RMTFILE ./dirdat/b5,maxfiles 999, megabytes 500,format release 12.1
SOURCECATALOG SALESPDB
table ssp.m_system_user;

5.生成def文件：
edit param salesdb4

USERID c##ggadmin,PASSWORD ggadmin
defsfile /home/oracle/ogg/ggs12/dirdef/salesdb4.def,format release 12.1
SOURCECATALOG SALESPDB
table ssp.m_system_user;

在OGG_HOME下执行如下命令生成def文件
defgen paramfile ./dirprm/salesdb4.prm

将生成的def文件传到目标端kafka--$OGG_HOME/dirdef下

---mysql 数据库地址：10.1.11.24 mysql地址

---kafka地址 10.1.1.246:0000,10.1.1.247：0000 主题:DLS_MERCHANT

1、添加初始化进程：---dirprm
ADD replicat rp_06,specialrun

EDIT PARAMS rp_06

SPECIALRUN
end runtime
setenv(NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
targetdb libfile libggjava.so set property=./dirprm/kafka_k05.props
SOURCEDEFS ./dirdef/salesdb4.def
EXTFILE ./dirdat/b5
reportcount every 1 minutes, rate
grouptransops 10000
map SALESPDB.SSP.M_SYSTEM_USER,TARGET DLS.DLS_SYSTEM_USER;

2、添加复制进程：
add replicat rep_04,exttrail ./dirdat/b4
edit params rep_04

REPLICAT rep_04
setenv(NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
HANDLECOLLISIONS
targetdb libfile libggjava.so set property=./dirprm/kafka_k05.props
SOURCEDEFS ./dirdef/salesdb4.def
reportcount every 1 minutes, rate
grouptransops 10000
map SALESPDB.SSP.M_SYSTEM_USER,TARGET DLS.DLS_SYSTEM_USER;

3、参数配置：
cd /home/appgroup/ogg/ggs12/dirprm

custom_kafka_producer.properties 文件

vi kafka_k05.props

gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
#The following resolves the topic name using the short table name
gg.handler.kafkahandler.topicMappingTemplate= DLS_MERCHANT
#The following selects the message key using the concatenated primary keys
#gg.handler.kafkahandler.keyMappingTemplate=
#gg.handler.kafkahandler.format=avro_op
gg.handler.kafkahandler.format =json
gg.handler.kafkahandler.format.insertOpKey=I
gg.handler.kafkahandler.format.updateOpKey=U
gg.handler.kafkahandler.format.deleteOpKey=D
gg.handler.kafkahandler.format.truncateOpKey=T
gg.handler.kafkahandler.format.prettyPrint=false
gg.handler.kafkahandler.format.jsonDelimiter=CDATA[]
gg.handler.kafkahandler.format.includePrimaryKeys=true
gg.handler.kafkahandler.SchemaTopicName= DLS_MERCHANT
gg.handler.kafkahandler.BlockingSend =false
gg.handler.kafkahandler.includeTokens=false
gg.handler.kafkahandler.mode=op
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
#Sample gg.classpath for Apache Kafka
gg.classpath=dirprm/:/opt/cloudera/parcels/KAFKA/lib/kafka/libs/
#Sample gg.classpath for HDP
#gg.classpath=/etc/kafka/conf:/usr/hdp/current/kafka-broker/libs/
javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar

----启动各个进程
1，源端抽取，投递，初始化进程启动
2，目标端启动初始化进程、执行初始化脚本，启动复制进程

start rp_06

./replicat paramfile ./dirprm/rp_06.prm reportfile ./dirrpt/rp_06.rpt -p INITIALDATALOAD

start rep_04

原文地址：http://blog.51cto.com/yangjunfeng/2133677

时间： 2024-10-18 06:23:02

12C数据库Goldengate同步异构数据库Kafka中间件之二的相关文章

使用Goldengate同步异构数据库之Kafka中间件

收到业务部门需求,要求将Oracle数据库某表同步至Mysql数据库中,异构环境我们用kafka来实现,下面是具体的一些配置: 由于业务需要,现申请使用架构组数据同步服务同步以下数据到管家MySQL数据库 代理商用户数据:a. 数据源:SSP库 AAA.system_userb. 数据目标:MySQL DLS库 DLS_SYSTEM_USERc. 同步逻辑: 无d. 同步数据及对应关系:参见附件e. 是否涉及敏感信息:否 准备工作:由于目标库Mysql库该表已经存在,我们将该表备份并且获取建表语

Navicat生成更新数据库结构同步的数据库

1.打开Navicat for MySQL ,找到工具->结构同步. 2.选择目标数据库和源数据库,此时下面就会生成一系列结构同步SQL,于是我们进行第三步 比如你现有一个data, 要把data的结构复制到一个新的test. a.先建好test. b.然后,源数据库,填data.目标数据库,填test 3.然后点 比对. 4.在查询勾选框中能看到比对情况,再运行查询.结构同步完成. 5.如果数据也要同步,就点,数据同步.在同步前,可以预览. 挺简单的. 这里有图示. http://jingya

使用SyncNavigator轻松实现数据库异地同步、断点续传、异构同步

摘要:最近一直在研究数据库同步的问题,在网上查了很多资料,也请教了很多人,找到了一种通过快照复制的方法.研究了一番后发现之前就是用的这个方法,效果不是很好,果断放弃.经过了一番寻觅和他人指点,最后从一位热心网友那里得知一款很好用的软件--SyncNavigator.好东西就要拿出来跟大家分享,所以今天向大家介绍一下这款软件,及其一些使用方法.下面先看看它有什么强大的功能吧!SyncNavigator的基本功能:自动同步数据/定时同步数据无论是实时同步/24小时不间断同步,还是根据计 最近一直在研

SymmetricDS 异构数据库同步软件部署案例

SymmetricDS是一个开源的同步软件,该软件是基于java环境编写的,在运行的时候需要安装JDK.SymmetricDS可以同步文件和数据库,本文的重点是数据库方面的同步. SymmetricDS支持多种数据库的同步,支持的数据库如下: Oracle, MySQL, MariaDB, PostgreSQL, MS SQL Server (including Azure), IBM DB2, H2, HSQLDB, Derby, Firebird, Interbase, Informix,

数据库（分库分表）中间件对比

转自:http://www.cnblogs.com/cangqiongbingchen/p/7094822.html 分区:对业务透明,分区只不过把存放数据的文件分成了许多小块,例如mysql中的一张表对应三个文件.MYD,MYI,frm. 根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表呢,还是一张表.分区可以把表分到不同的硬盘上,但不能分配到不同服务器上. 优点:数据不存在多个副本,不必进行数据复制,性能更高. 缺点:分区策略必须经过充分考虑,避免多个分区之间的数

SymmetricDS 数据库双向同步开源软件入门

一句话概括该软件:SymmetricDS是一个文件和数据库同步软件,开源的,支持多主复制,同步时过滤和在异构的网络环境中进行数据转换传输.它支持单向和双向上的多个订阅者,异步的数据复制. 以下是从CSDN专栏找到的用户指南的翻译,由于目前SymmetricDS的中文资料是少之又少,所以用的人也不是很多.当初公司选择SymmetricDS,主要是因为它满足开源免费,支持双向同步,在使用的过程中,由于没有什么资料,所以一切都是靠自己的摸索和探究.测试过程中也出现了一些使用上的问题,目前也都解决了,至

关于SyncNavigator数据库实时同步软件新手使用教程【推荐阅读】

购买事宜请联系QQ:1793040 WWW.syncnavigator.cn HKROnline SyncNavigator企业版 8.4.1 使用教程 首先,SyncNavigator现在没有试用版了,试用版在2018年起就停止运营了,需要正式激活之后,软件才能新建项目,功能才算正常. SyncNavigator的基本功能:自动同步数据/定时同步数据无论是实时同步/24小时不间断同步 SyncNavigator是一款高效的数据库同步工具,支持sqlserver数据库和mysql数据库,采用增量

Linux下Mongodb数据库主从同步配置

说明: 有两台已经安装完成的Mongodb数据库服务器,现在需要把一台设置为主库,另一台设置为从库,实现主从同步. 操作系统:CentOS 7.0 64位 MongoDB数据库版本:mongodb-linux-x86_64-2.6.5 准备工作:MongoDB数据库安装 具体操作: 一.配置MongoDB主库 以下操作在MongoDB主库服务器上进行 1.cd  /usr/local/mongodb/ #进入MongoDB安装目录 vi /usr/local/mongodb/mongodb.co

mysql主从数据库不同步的2种解决方法（转）

今天发现Mysql的主从数据库没有同步 先上Master库: mysql>show processlist; 查看下进程是否Sleep太多.发现很正常. show master status; 也正常. mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File | Position | Binlog_Do_DB | Binlo