ETL工具之ODI

ETL工具之ODI

到目前为止,Oracle的ETL工具包括两种,分别是Oracle Warehouse Builder(OWB)和Oracle Data Integrator(ODI)。前者是Oracle自己开发的工具,将在以后介绍。本章先介绍ODI,这个产品的前身是Sunopsis Active Integration Platform,Oracle在2006年收购Sunopsis后,这个产品被重新命名成ODI(Oracle Data Integrator)。主要定位在数据集成和ETL场景里使用,并被整合进Fusion中间件套件中,不过,今年Oracle又收购了 Goldengate,相信不久的将来我们又能多了一个选择。

OWB和ODI并不是两个完全相同的产品 。 和OWB比较起来,ODI有几个明显的特点。首先,它具有平台无关性特点,因为这个工具是用Java开发的,这也正符合Oracle长期秉承的政策:建设 一个系统武官和硬件无关的工具。Oracle数据库本身也具有这个特点。

其次,这个产品更强化定位于一个EAI工具,而不仅是ETL工具。它不仅能够支持几乎所有的RDBMS数据库,当然也包括Oracle,并且还能支持非常 多的客户应用系统,从PeopleSoft到Sieble、SAP等等。而这一点正是OWB致命缺陷,因为长期以来,OWB只能用于基于Oracle数据 库的环境中,虽然Oracle一直探求增强OWB在数据集成领域的方法,试图让OWB能够面对非Oracle的系统平台。但在现实的多样化企业环境 中,OWB的市场占有率并不高,而Sunopsis已经拥有这个领域比较完善成熟的技术,并且拥有全球约500客户。Oracle也非常清醒地认识到,无 论Oracle能为客户多么强壮的产品,客户的IT环境总是多样的。所以,从Oracle的产品路线图可以看到两个产品的发展方向,OWB将继续作为数据 仓库的ETL产品增强,而ODI则是定位与数据库无关的数据集成策略,二者之间不会相互替代,因为他们通过数据库系统和Fusion中间件分别发展。

ODI提供了call web service的机制,并且ODI的接口也可以暴露为web service,从而可以和SOA环境进行交互。ODI能够检测事件,一个事件可以触发ODI的一个接口流程,从而完成近乎实时的数据集成。
 ODI的主要功能特点有:
  a.使用CDC作为变更数据捕获的捕获方式。
  b.代理支持并行处理和负载均衡。
  c.完善的权限控制、版本管理功能。
  d.支持数据质量检查,清洗和回收脏数据。
  e.支持与JMS消息中间件集成。
  f.支持Web Service。

时间: 2024-10-06 19:34:23

ETL工具之ODI的相关文章

客户视角:Oracle ETL工具ODI

客户视角:Oracle ETL工具ODI 数据集成已成为企业在追求市场份额中的关键技术组件,与依靠手工编码的方式不同,越来越多的企业选择完整的数据集成解决方案来支持其IT战略,从大数据分析到云平台的集成.Dao Research最近进行的一项研究,比较全球领先的几个数据集成解决方案之间的差异,及这些产品技术对现实企业的影响.他们采访了IBM,Informatica的,和甲骨文的客户.此外,他们也阅读了来自这三个供应商的公开可用的解决方案文档.该研究发现,甲骨文在数据集成领域具有某些方面的领先地位

常用ETL工具

一 ETL工具[国外] 1. datastage点评:最专业的ETL工具,价格不菲,使用难度一般 下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSO BT种子下载:http://pan.baidu.com/share/link?shareid=172289&uk=67437475 --------------------------------------- 2. informatica点评:专业程度如Datastage旗鼓

Sqool与kettle开源的ETL工具

数据抽取的开源工具 一个是RDBMS 一个是基于分布式的数据ETL工具 ==================== 原则: 主要是映射规则,基础字典数据,详细数据 注意与ESB的编程模型的差异(编程思想上)

etl工具,kettle实现循环

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. 业务模型: 在关系型数据库中有张很大的表,被设计成奇偶库存储,每个库100张一模一样的表,每张表存储1000W,字段切换到下一个表.现需要同步这个数据到hive中(hdfs),循环抽取这些数据.如果是抽取增量的带上增量字段(每天增量数据存储在哪个表,奇数库还是偶数库是不知道的). a sqoop直接从mysql到hive,这样有些特殊字符会导致sqoop异常终

etl学习系列1——etl工具安装

ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取.质量检测.数据清洗.数据转换.数据过滤等方面有着比较稳定的表现,

ETL工具框架开源软件

http://www.oschina.net/project/tag/453/etl 开源ETL工具 Kettle Talend KETL CloverETL Apatar Scriptella ETL Octopus ETL调度技术平台 TASKCTL ETL工具 Talend Open Studio ETL工具 Palo ETL Server ETL工具 JMyETL CloverETL Designer xETL ETL 和特性抽取工具 Crunch xETL编译器 openDigger

Kettle定时执行(ETL工具)【转】

1,Kettle跨平台使用.    例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:    1)进入到Kettle部署的路径    2)执行 chmod *.sh,将所有shell文件添加可执行权限    3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log    其中.-file说明你要运行的transfor

可用于Hadoop下的ETL工具——Kettle

看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——Kettle.    Kettle是pentaho公司开源的一款ETL工具,跟hadoop一样,也是java实现,其目的就是做数据整合中时数据的抽取(Extract).转换(Transformat).加载(Load)工作.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制.Transformation工作原理上采用并发流式处理

ETL工具总结

ETL的考虑 做 数据仓库系统,ETL是关键的一环.说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具.回忆一下工作这么些年来,处理数据迁移.转换的工作倒 还真的不少.但是那些工作基本上是一次性工作或者很小数据量,使用access.DTS或是自己编个小程序搞定.可是在数据仓库系统中,ETL上升到了一 定的理论高度,和原来小打小闹的工具使用不同了.究竟什么不同,从名字上就可以看到,人家已经将倒数据的过程分成3个步骤,E.T.L分别代表抽取.转换 和装载. 其 实ETL过程就是数据流动的过程