Oracle GoldenGate 同步数据至Hbase

该方法没试过,先记下再说

1、软件版本说明:

Goldengate 12c 12.2.0.1 for Oracle(源端)

Goldengate 12c 12.3.0.1 for Bigdata (目标端)

Hadoop 2.6.4(安装参考我的博客 https://blog.csdn.net/Return42/article/details/79786612

Oracle 12c(安装参考我的博客 https://blog.csdn.net/return42/article/details/79786724

HBase1.2.6(安装参考我的博客https://blog.csdn.net/return42/article/details/79786541

Java1.8

2、机器IP说明

源端IP地址(192.168.107.20)安装 Oracle12c,Oracle GoldenGate

目标端IP地址(192.168.107.23),安装Hbase,OracleGoldenGate for BigData

3、源端的配置

参考我的博客( https://blog.csdn.net/return42/article/details/79786879

4、目标 端的配置

#在用户家目录下的 ~/.bash_profile中配置用户的JAVA_HOME,以及LIB_PATH 环境变量。

export PATH

export JAVA_HOME=/opt/jdk

exportLD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$JAVA_HOME/jre/lib/amd64/server/libjsig.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64

#使新加入的环境变量生效

source ~/.bash_profile

#进入 OGG安装目录

cd /opt/ogg

#复制 hbase对应的配置文件。

cp AdapterExamples/big-data/hbase/*dirprm/

cd/ogg/dirprm

编辑配置文件

vi hbase.props

gg.handlerlist=hbase

gg.handler.hbase.type=hbase

gg.handler.hbase.hBaseColumnFamilyName=cf

gg.handler.hbase.keyValueDelimiter=CDATA[=]

gg.handler.hbase.keyValuePairDelimiter=CDATA[,]

gg.handler.hbase.encoding=UTF-8

gg.handler.hbase.pkUpdateHandling=abend

gg.handler.hbase.nullValueRepresentation=CDATA[NULL]

gg.handler.hbase.authType=none

gg.handler.hbase.includeTokens=false

gg.handler.hbase.mode=tx

goldengate.userexit.timestamp=utc

goldengate.userexit.writers=javawriter

javawriter.stats.display=TRUE

javawriter.stats.full=TRUE

gg.log=log4j

gg.log.level=INFO

gg.report.time=30sec

#Sample gg.classpath for Apache HBase

#gg.classpath=/var/lib/hbase/lib/*:/var/lib/hbase/conf/:

#Sample gg.classpath for CDH

#gg.classpath=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:/etc/hbase/conf

#Sample gg.classpath for HDP

#gg.classpath=/usr/hdp/current/hbase-client/lib/*:/etc/hbase/conf

gg.classpath=/opt/hbase-1.2.6/lib/*:/opt/hbase-1.2.6/conf/:

javawriter.bootoptions=-Xmx512m-Xms32m -Djava.class.path=ggjava/ggjava.jar

5、启动ogg

./ggsci

GGSCI(hbase)2>editparamsmgr

Port 7809

DynamicPortList 20100-20199

PurgeOldExtracts ./dirdat/*,UseCheckPoints, MinKeepHours 2

Autostart Replicat R*

AUTORESTART Replicat *, WaitMinutes 1,Retries 3

ACCESSRULE, PROG *, IPADDR192.168.107.*, ALLOW

#配置复制进程

GGSCI(hbase)5>editparam rinta

replicat rinta

TARGETDB LIBFILE libggjava.so SETproperty=dirprm/hbase.props

REPORTCOUNT EVERY 1 MINUTES, RATE

GROUPTRANSOPS 10000

MAP OGG.*, TARGET root.*;

添加进程

add extract pinta,exttrailsource ./dirdat/in

6、配置完成,启动源端和目标端的进程。

参考:https://www.cppentry.com/bencandy.php?fid=118&id=196166

原文地址:https://www.cnblogs.com/51python/p/10874137.html

时间: 2024-10-31 13:24:44

Oracle GoldenGate 同步数据至Hbase的相关文章

实现从Oracle增量同步数据到GreenPlum

简介: GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库,适用于OLAP系统,支持50PB(1PB=1000TB)级海量数据的存储和处理. 背景: 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库,便于进行数据分析和处理. 规模: 每天产生60G左右数据,最大的表每天新增上亿条数据. 解决方法: 1)历史数据通过抽取导入的方式进行初始化. 2)增量更新数据: 使用GoldenGate将Oracle日志解析,传给GreenP

Oracle Stream 同步数据

1 引言     Oracle官方网: http://www.stanford.edu/dept/itss/docs/oracle/10g/server.101/b10727/strmover.htm     Oracle Stream功能是为提高数据库的高可用性而设计的,在Oracle 9i及之前的版本这个功能被称为Advance Replication.Oracle Stream利用高级队列技术,通过解析归档日志,将归档日志解析成DDL及DML语句,从而实现数据库之间的同步.这种技术可以将整

Oracle GoldenGate同步服务归档空间维护

ORA-00257: archiver error. Connect internal only, until freed 查看归档日志序列 SQL> archive log list; Automatic archival Enabled #自动归档 Archive destination USE_DB_RECOVERY_FILE_DEST #归档目录为指定的闪回恢复区 Oldest online log sequence 174 #最旧的在线日志序列 Next log sequence to

Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

一.使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二.使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数据导出到mysql 眼下没有直接的命令将HBase中的数据导出到MySQL.但能够先将HBase中的数据导出到HDFS中.再将数据导出到MySQL. 三.使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 以下仅仅给出将Oracle中的数据导入HBase,其它情况下的命令行选项与MySQL的操作相似

详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

一.使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二.使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数据导出到mysql 目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL. 三.使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase,其他情况下的命令行选项与MySQL的操作相似 O

为Oracle GoldenGate准备数据库

了解如何为Oracle GoldenGate准备数据库,包括如何配置连接和日志记录,如何在数据库中启用Oracle GoldenGate,如何设置闪回查询以及如何管理服务器资源. 为集成进程配置连接 配置日志记录属性 在数据库中启用Oracle GoldenGate 设置闪回查询 管理服务器资源 2.1 为集成进程配置连接 如果您将使用集成捕获和集成Replicat,则每个都需要tnsnames.ora文件中的专用服务器连接.当您配置这些进程时,您可以指示进程在Extract and Repli

Goldengate抽取ORACLE 数据 到 Hbase

1.        软件版本说明: Goldengate 12c  12.2.0.1 forOracle (源端 ) Goldengate 12c  12.2.0.1  for Bigdata ( 目标端) Oracle 11g 11.2.0.4.0 (注oracle 数据库必须是11.2.0.4之后的版本,之前的oracle 数据库版本不支持ogg 12c ) HBase 1.1.2 Java 1.8.0_91 2.        机器IP 说明 源端IP地址(192.168.45.176)安

Oracle GoldenGate (以下简称ogg)在异种os上同种db之间的数据同步。

ogg能实现的功能: 可以细化到单表同步,符合特定where条件的rows同步,指定column的同步. ogg 的竞争对手:ibm cdc:dell shareplex:dsg:dds等等 环境描述: 源头:windows 2003x64bit, oracle db 11.2.0.3 x64bit 目的端:suse linux ,oracle db 11.2.0.3 预先准备: 1.Microsoft Visual C ++ 2005 SP1 Redistributable Package 注

利用GoldenGate实现Oracle实时同步方案

利用GoldenGate实现Oracle实时同步方案 简介: OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.OracleGolden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移