FusionInsight LibrA与ODI 12c的完美结合

本文介绍如何通过ODI 12c同步PostgreSQL数据到FusionInsight LibrA。

1、FusionInsight LibrA客户端配置

在ODI服务上配置FusionInsight LibrA客户端,完成客户端认证操作。

[[email protected] ~]$ source /u02/huawei/client/bigdata_env
[[email protected] ~]$ kinit candon
Password for [email protected]:
[[email protected] ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: [email protected]

Valid starting       Expires              Service principal
2018-10-08T17:00:58  2018-10-09T17:00:55  krbtgt/[email protected]
[[email protected] ~]$ odi

2、配置客户端接入认证

以操作系统用户omm登录CN所在服务器,启动环境变量操作,完了设置允许ODI服务器访问LibrA。

--创建用户
[[email protected] ~]$ gsql -d postgres -p 25308
postgres=# create user rhnuser with sysadmin identified by ‘[email protected]‘;
--设置允许192.168.120.80的客户端服务本机
[[email protected] ~]$ gs_guc set -Z coordinator -N all -I all -h "host all rhnuser 192.168.120.80/32 sha256"
  • -Z coordinator表示实例类型为coordinator。
  • -N all表示集群的所有主机。
  • -I all表示主机的所有实例。
  • -h表示指定需要在“pg_hba.conf”增加的语句。
  • all表示允许客户端连接到任意的数据库。
  • rhnuser表示连接数据库的用户。
  • 192.168.120.80/32表示只允许IP地址为192.168.120.80的主机连接。此处的IP地址不能为集群内的IP,在使用过程中,请根据实际网络进行配置修改。
  • sha256表示连接时jack用户的密码使用sha256算法加密
    这条命令在所有CN实例对应的“pg_hba.conf”文件中添加了一条规则,用于对连接CN的客户端进行鉴定。

    3、创建物理体系结构

    以创建LibrA为例,PostgreSQL体系结构同理创建。
    ODI->拓扑->物理体系结构->PostgreSQL->新建数据服务器->新建物理方案,如下图所示:

    4、创建逻辑体系结构

    ODI->拓扑->逻辑体系结构->PostgreSQL->新建逻辑方案

    5、创建ODI模型

    ODI->设计器->模型,如下图所示:

    最后,点击“逆向工程”同步表结构。

    6、创建ODI项目

    ODI->设计器->项目,如下图所示:

    7、创建项目映射

    具体请参考博客上的相关odi文章,结果如下图所示:


    8、运行映射


原文地址:http://blog.51cto.com/candon123/2296398

时间: 2024-10-28 11:02:10

FusionInsight LibrA与ODI 12c的完美结合的相关文章

解决ODI 12C Studio 运行缓慢问题

一.配置 ODI 12C Studio 1.1 修改ODI Studio process的-Xms和-Xmx ide.conf: modifying the initial Heap size (-Xms), and/or maximum Heap size (-Xmx) of the ODI Studio Java process. 路径: "$ODI_HOME\jdeveloper\ide\bin\ide.conf  (我的路径为D:\Oracle\Middleware\Oracle_Hom

FusionInsight LibrA V100R002C80SPC300安装指南

FusionInsight LibrA是企业级的大规模并行处理关系型数据库.FusionInsight LibrA采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyte,2的50次方字节)级别数据量的处理能力.FusionInsight LibrA在核心技术上跟传统数据库相比有巨大优势,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统.BI(Business I

ODI 12c中使用Groovy脚本创建工程

本文主要介绍在ODI中使用groovy创建工程,并添加一个表转换的映射.要创建groovy脚本,可以从ODI Studio的菜单:工具->Groovy->新脚本 打开一个编辑窗口.在执行下面的脚本之前,确认在模型中已经有EMP表. USERSRC USERDEST import oracle.odi.domain.project.OdiProject import oracle.odi.domain.project.finder.IOdiProjectFinder import oracle.

Oracle ODI 12c之多表联合查询以及定时任务设置

本文介绍如何通过ODI进行多表联合查询并设置定时任务.准备工作如下: 准备物理方案和逻辑方案: 创建模型并通过"逆向工程"同步方案: 创建项目(根据实际情况创建或者使用现有的): 确保源表和目标表都有主键存在.以上内容的前三点可以参考我博客中的相关文章. 一.Preparing 1.1 源SQL语句 SELECT a.ID, a.ORG_ID, a.NAME_ID, a.EVR_ID, a.PACKAGE_ARCH_ID, a.PACKAGE_GROUP, a.RPM_VERSION,

Loading Data Into Hive From File By ODI 12c

本文介绍如何将文本文件中的数据通过ODI导入Hive数据仓库. 一.Hive上创建目标表 1.1 源表定义 CREATE TABLE EXAM_SCORE ( ID NUMBER(4), AREA_ID NUMBER(1), EXAM_INFO_ID NUMBER(3), STU_SEQUENCE NUMBER(12), SCORE NUMBER(3), SUBJECT_ID NUMBER(3), CLASS_ID NUMBER(6) ) 1.2 目标表定义 CREATE TABLE hived

Loading Data From Oracle To Hive By ODI 12c

本文描述如何通过ODI将Oracle表数据同步到Hive.1.准备工作在hadoop集群的各个节点分别安装Oracle Big Data Connectors,具体的组件如下图所示:这里只需安装Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)两个软件.安装比较简单,直接解压即可使用(这里的ODI.oraosch以及oraloader组件都是以

大数据实践:ODI 和 Twitter (一)

本文利用twitter做为数据源,介绍使用Oracle大数据平台及Oralce Data Integrator工具,完成从twitter抽取数据,在hadoop平台上处理数据,并最终加载到oracle数据库. 数据集成分为三个阶段:获取.整理.分析和决策. 本文从实际出发,讲述大数据处理的真实案例,而不是简单的讲述理论知识.首先会使用flume从twitter加载数据到HDFS,其实是加载到Hive数据库,然后利用(Oracle Data Integrator)ODI来实现逆向工程,并转换Hiv

Oracle Data Integrator之代理创建

本文依次介绍了如何创建ODI 12c的Standalone agent.Physical agent以及Logical agent.三种agent的含义如下图所示: 一.创建Standalone Agent [email protected]:~$ cd /u01/odi/oracle_common/common/bin [email protected]:/u01/odi/oracle_common/common/bin$ ./config.sh 创建新域,域位置根据实际情况定义,这里使用默认

带着耳朵去CEBIT,听华为的数字世界交响曲

作者 | 张戈 (公众号ID:TechECR) 巴赫.贝多芬.舒伯特.舒曼.勃拉姆斯-- 带着耳朵去德国,足以. 当然还要去数字之城汉诺威, 可以带着眼睛去感受CEBIT, 但更需要带着耳朵去欣赏"数字世界交响曲". 华为的数字世界交响曲 言归正传,此次CEBIT2018,华为以"新ICT ,迈向数字化转型之路"为展示主题,但其以"数字世界交响曲"为内容主线.由此,华为在"致敬"诸多德国音乐家,也"致敬"正