Goldengate抽取ORACLE 数据 到 Hbase

1、        软件版本说明:

Goldengate 12c  12.2.0.1 forOracle (源端 )

Goldengate 12c  12.2.0.1  for Bigdata ( 目标端)

Oracle 11g 11.2.0.4.0 (注oracle 数据库必须是11.2.0.4之后的版本,之前的oracle 数据库版本不支持ogg 12c )

HBase 1.1.2

Java 1.8.0_91

2、        机器IP 说明

源端IP地址(192.168.45.176)安装  Oracle 11g 11.2.0.4  , Goldengate 12c

目标端 IP地址(192.168.45.175),安装 hbase,Goldengate 12c ,软件安装

hbase已采用ambari 进行安装,安装过程不作详细说明,在此主要说明下各软件的安装目录,以及使用的端口。

Oracle 12c  for Oracle (192.168.45.176) 安装目录为:/home/oracle/oggdb

Oracle 12c for bigdata  (192.168.45.175)    安装目录为:/ogg

Hbase 安装目录: /usr/hdp/2.4.2.0-258/hbase

3、        源端(192.168.45.176) 的配置

#连接数据库

sqlplus / as sysdba

SQL> shutdownimmeidate;

SQL> startup mount;

#开启归档日志

SQL> alter database archivelog;

SQL> archive log list

#开启数据库级日志

SQL> alter database force logging;

#开启 goldengate 复制功能(注:此参数必须开启,oracle 11.2.0.4 之后的数据库才支持此参数)

SQL> alter system set enable_goldengate_replication=true scope=both;

#关闭 垃圾回收站

SQL> alter system set recyclebin=off scope=spfile;

#开启数据库

SQL> alter databaseopen;

#创建ogg 管理用户

SQL>  create user oggidentified by ogg account unlock;

SQL> grant execute on utl_file to ogg;

SQL>grant restricted session to ogg;

SQL> grant dba to ogg

进入源端(192.168.45.176)OGG 目录,配置数据初始化。

# cd /home/oracle/oggdb

#进入ogg

[[email protected] oggdb]$ ./ggsci

#配置源端mgr进程

GGSCI (oracle) 10> edit params mgr

PORT 7809

#配置同步用户

GGSCI (oracle) 7> dblogin userid ogg,password ogg

Successfully logged into database.

#给scott用户下的所有表开启附加日志

GGSCI (oracle) 8> add trandata scott.*

#源端配置initload extract 进程

GGSCI (oracle) 8> add extract fafainih, sourceistable

EXTRACT added.

#配置extract进程 fafainie 参数

extractfafainih

useridogg,password ogg

rmthost192.168.45.175,mgrport 7809

--rmttaskreplicat,group fafainir

RMTFILE./dirdat/hh

tablescott.*;

4、        目标 端的配置。(192.168.45.175)

#在用户家目录下的 ~/.bash_profile中配置用户的JAVA_HOME,以及LIB_PATH 环境变量。

exportJAVA_HOME=/usr/java/jdk1.8.0_91/jre/

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/java/jdk1.8.0_91/jre/lib/amd64/libjsig.so:/usr/java/jdk1.8.0_91/jre/lib/amd64/server/libjvm.so:/usr/java/jdk1.8.0_91/jre/lib/amd64/server:/usr/java/jdk1.8.0_91/jre/lib/amd64

#使新加入的环境变量生效

source ~/.bash_profile

#进入 OGG安装目录

cd  /ogg

#复制 hbase对应的配置文件。

cp AdapterExamples/big-data/hbase/*   dirprm/

cd /ogg/dirprm

[[email protected] dirprm]# vi hbase.props

gg.handlerlist=hbase

gg.handler.hbase.type=hbase

gg.handler.hbase.hBaseColumnFamilyName=cf

gg.handler.hbase.keyValueDelimiter=CDATA[=]

gg.handler.hbase.keyValuePairDelimiter=CDATA[,]

gg.handler.hbase.encoding=UTF-8

gg.handler.hbase.pkUpdateHandling=abend

gg.handler.hbase.nullValueRepresentation=CDATA[NULL]

gg.handler.hbase.authType=none

gg.handler.hbase.includeTokens=false

gg.handler.hbase.mode=tx

goldengate.userexit.timestamp=utc

goldengate.userexit.writers=javawriter

javawriter.stats.display=TRUE

javawriter.stats.full=TRUE

gg.log=log4j

gg.log.level=INFO

gg.report.time=30sec

#配置hbase 所用库的路径

gg.classpath=/usr/hdp/2.4.2.0-258/hbase/lib/*:/usr/hdp/2.4.2.0-258/hbase/conf/:/usr/hdp/2.4.2.0-258/hadoop/client/*

javawriter.bootoptions=-Xmx512m -Xms32m-Djava.class.path=ggjava/ggjava.jar

#进入ogg

cd  /ogg

./ggsci

GGSCI (hbase) 2> edit params mgr

Port 7809

#配置复制进程

GGSCI (hbase) 5> add replicat irhbase, specialrun

SPECIALRUN

END RUNTIME

EXTFILE ./dirdat/hh

TARGETDB LIBFILE libggjava.so SETproperty=dirprm/hbase.props

REPORTCOUNT EVERY 1 MINUTES, RATE

GROUPTRANSOPS 10000

MAP scott.*, TARGET BDTEST.*;

5、        源端(192.168.45.176)

cd /home/oracle/oggdb

./ggsci

#启动fafainie 进程

GGSCI (oracle) 1> start fafainih

#查看进程的执行情况

GGSCI (oracle) 2> view report fafainih

6、        目标端(192.168.45.175)

cd /ogg

#启动复制进程

./replicat paramfile ./dirprm/irhbase.prm reportfile ./dirrpt/irhbase.rpt -p INITIALDATALOAD

#进入hbase 环境

Hbase shell

#查看表中的数据

发现表中的数据已经存在,说明oracle的 数据成功加载至 hbase.

源端(192.168.45.176)配置数据的动态抓取

cd  /home/oracle/oggdb

sqlplus / as sysdba

SQL> @marker_setup

#在以下提示中输入:ogg

Enter Oracle GoldenGate schema name:ogg

#创建OGG表空间,授予OGG用户相应的权限

SQL> CREATE TABLESPACE TBS_OGG DATAFILE ‘/home/oracle/app/oracle/oradata/oggdb/tbs_ogg_01.dbf‘SIZE 2G AUTOEXTEND ON NEXT 50M MAXSIZE UNLIMITED;

Tablespace created.

SQL> alter user ogg DEFAULT TABLESPACE TBS_OGG;

User altered.

SQL> grant connect,resource,unlimited tablespace to ogg;

Grant succeeded.

SQL> @ddl_setup.sql

#在以下提示中:输入ogg

Enter Oracle GoldenGate schema name:ogg

SQL> @role_setup

# 在以下提示中:输入ogg

Enter GoldenGate schema name:ogg

SQL> GRANT GGS_GGSUSER_ROLE TO OGG;

#配置OGG 日志抓取进程

cd  /home/oracle/oggdb

./ggsci

#源端创建OGG 抽取进程

GGSCI (oracle) 1> add extract scotthb, tranlog, begin now

# 指定抽取进程trail文件的位置

GGSCI (oracle) 2> add rmttrail /ogg/dirdat/ha,extract scotthb

# 编辑 scotthb 进程参数

GGSCI (oracle) 3> edit params scotthb

extract scotthb

userid ogg,password ogg

rmthost 192.168.45.175, mgrport 7809

rmttrail /ogg/dirdat/ha

discardfile /home/oracle/oggdb/dirrpt/trail.dsc,append,megabytes 100

ddl include mapped

table scott.*;

7、目标端(192.168.45.175)配置数据复制进程

cd /ogg

./ggsci

#配置全局参数

GGSCI (hbase) 1> edit params ./GLOBALS

ggschema ogg

checkpointtable ogg.chkpnt_fafa

#配置解析进程

GGSCI (hbase) 2> add replicat rscott,exttrail /ogg/dirdat/ha

#编辑解析进程参数

GGSCI (hbase) 3> edit params  rscott

REPLICAT rscott

-- Trail file for this example is located in"AdapterExamples/trail" directory

-- Command to add REPLICAT

-- add replicat rhbase, exttrail AdapterExamples/trail/tr

TARGETDB LIBFILE libggjava.so SET property=dirprm/hbase.props

REPORTCOUNT EVERY 1 MINUTES, RATE

GROUPTRANSOPS 10000

MAP scott.*, TARGET bdtest.*;

8、源端(192.168.45.176)启动抓取进程

cd  /home/oracle/ogdb

./ggsci

GGSCI (oracle) 1> start scotthb

9、 目标端(192.168.45.173)启动复制进程

cd /home/oracle/oggdb

./ggsci

GGSCI (kafka) 1> start rscott

至此,整个配置过程完成,配置完成后,可以通过在源端(192.168.45.176)中的oracle 数据库中,进行DML操作,测试新变化的数据,是否能同步到hbase。

10、源端数据库做测试(192.168.45.176)

sqlplus / as sysdba

SQL> Alter user scott account unlock;

SQL> conn scott/tiger

#向scott.dept表中新插入一条数据

SQL> insert into scott.deptvalues(50,‘DEVELOP‘,‘SHANGHAI‘);

SQL> commit;

11、在目标端(192.168.45.175)上查看数据

Hbase shell

在hbase中,已经可以查询到新增加的数据。

12、在源端(192.168.45.176)修改oracle 数据.

sqlplus / as sysdba

SQL> update scott.dept set loc=‘HANGZHOU‘where deptno=50;

SQL> commit;

13、在目标端(192.168.45.175) 查看数据

Hbase shell

发现hbase 数据对应的记录已经相应的修改。

时间: 2024-10-07 00:08:53

Goldengate抽取ORACLE 数据 到 Hbase的相关文章

用sqoop抽取oracle 表到hbase的例子

sqoop import \-Doraoop.disabled=true \--connect jdbc:oracle:thin:@"(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=XX.XX.XX.XX)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=edw)))" \--username ****\--password  ****\--table SDI.OGG_SP_HT_28

Oracle 数据集成的实际解决方案

就针对市场与企业的发展的需求,Oracle公司提供了一个相对统一的关于企业级的实时数据解决方案,即Oracle数据集成的解决方案.以下的文章主要是对其解决方案的具体描述,望你会有所收获. Oracle 数据集成解决方案 Oracle数据集成解决方案用于在SOA.BI和数据仓库环境中构建.部署和管理以实时数据为中心的架构,包含了Oracle数据集成的所有要素--实时数据移动.转换.同步.数据质量.数据管理和数据服务--能确保各个复杂系统的信息及时.准确.一致. 通过使用Oracle数据集成,企业将

GOLDENGATE安装与数据复制流搭建配置_不含DDL抽取版

GOLDENGATE安装与数据复制流搭建配置 (源库为实例,支持ASM,不含DDL抽取版) 1.配置场景 2.OGG软件安装 2.1 源端和目标端创建OGG安装目录与授权 #mkdir /u01/ogg #chown –R oracle:oinstall/u01/ogg #chmod –R 777/u01/ogg 2.2 源端和目标端配置环境变量 #su – oracle [[email protected]~]$ vi.bash_profile 添加以下内容: export OGG=/u01/

GoldenGate架构下oracle与oracle数据同步

GoldenGate架构下oracle与oracle数据迁移 主机updba上scott用户下数据同步到主机upgg上scott. 1: updba和upgg上scott数据一致.(可通过迁移实现) 2: 并在两个主机上分别安装GG软件.创建管理用户ggm授权. 3:配置manager管理进程 GGSCI>edit params mgr port 7809 GGSCI>info mgr GGSCI>start mgr GGSCI>info mgr 4: 配置DML同步 4.1 抓取

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据\ 下文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令.一.Mysql与HDFS互导数据环境:宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.963台虚拟机操作系统为Ubuntu-12.04.1-32位三台虚拟机已成功安装hadoop,并实现免密钥互访,配hosts为:192.168.66.91 m

三分钟读懂Oracle数据库容灾架之DataGuard

Oracle数据库目前依然处于商用数据库的霸主地位. 运行在Oracle数据库上的核心业务及核心数据的安全性尤为重要. 目前市场上针对Oracle数据库常见的容灾产品大致可以分为两大类. Oracle 公司自己的容灾产品 非Oracle公司的容灾产品 Oracle公司目前的容灾产品有我们常见的DataGuard和属于中间件部门的Oracle GoldenGate(以下简称OGG)产品.非Oracle公司的有DSG迪思杰 及DDS九桥,这两种产品和OGG在实现原理上大致相同. Oracle Gol

利用GoldenGate实现Oracle实时同步方案

利用GoldenGate实现Oracle实时同步方案 简介: OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.OracleGolden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移

Oracle Goldengate和Oracle Data Integrator的初步认识

免责声明:     本文中使用的部分图片来自于网络,如有侵权,请联系博主进行删除 1. Oracle Glodengate是什么? GoldenGate是oracle的一种基于数据库日志的数据同步软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化全部或者部分的应用到目标数据库,实现源数据库与目标数据库实时同步. GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制. GoldenGate的工作原理

ODI利用goldengate实现增量数据捕获

ODI利用goldengate实现增量数据捕获 上个月,Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块,这样当系统需要实时数据仓库时,我们从源数据库抽取增量数据,就完全可以利用goldengate从数据库的日志中抽取,避免了对源数据库系统的影响,以前采用streams或者logminer抽取增量时,需要在源数据库部署stream,需要DBA权限,很多管理员都有抵触情绪,怕影响生产系统,goldengate在源数据库中