kettle中源和目标表结构不一致的情况处理

创建数据仓库的过程中，往往会遇到这样的问题，例如：源表由于业务原因新增了字段，而ETL程序中是按照之前的源表结构进行抽取的，那么如果不重新构建ETL程序，新的指标就不会流入DW，问题如下图所示

创建了一个简单的输入输出

如下图所示，源表中有一个column3字段没有被匹配到

下面我们可以打开sql编辑器，看看该字段的类型，然后在目标表中增加该字段就好了

PS：注意要谨慎点击sql编辑器中的执行按钮，该按钮虽然会自动的给目标表添加对应于源表所需的字段，但是如果之前目标表有

注释内容什么的就会被这个操作覆盖掉，该执行只是执行了简单的创建表操作.

另外如果要及时让新增表字段在目标表中生效，必须要清除一下目标表对应的DBlink的数据缓存

如下图：

第一种方法就是在上面的sql编辑器窗口

第二种方法就是在转换的DBlink列表

时间： 2024-10-08 12:59:38

kettle中源和目标表结构不一致的情况处理的相关文章

关于类型擦除\union表结构不一致问题的分析

本文提到的类型擦除与java中的重载有关.我们先看一下重载的定义:重载是Java多态性的表现,是用统一的处理方式处理不同数据的机制.Java方法的重载,即方法具有相同的命名,但参数列表(类型或个数)不同. 以下是我写的两个方法,用于将用户列表或不同类型用户列表的List加入包含收件人.主题.邮件正文的一个数据结构中.如下: private void addEmailRecipients(FlowRunTime startFlowRunTime, List<String> userIds, Pr

用命令从mysql中导出/导入表结构及数据

在命令行下mysql的数据导出有个很好用命令mysqldump,它的参数有一大把,可以这样查看:mysqldump最常用的:mysqldump -uroot -pmysql databasefoo table1 table2 > foo.sql这样就可以将数据库databasefoo的表table1,table2以sql形式导入foo.sql中,其中-uroot参数表示访问数据库的用户名是root,如果有密码还需要加上-p参数Eg: C:\Users\jack> mysqldump -uroo

PL/SQL中复制粘贴表结构信息

1.打开下图中的Tables文件夹 2.查找要找的表 3.右键单击找到的表—>Describe 4.复制所需的数据到EXCEL表中

A表数据插入到B表（表结构不一致）

D_A 有E\F\H 3字段 D_B 有 A\B\C\D\E\ID 字段将 D_B 个别字段插入到D_A 表 INSERT INTO D_A(E,F,H) select B,A,ID from D_B

powerdesigner 连接 Oracle ，并将表结构导入到powerdesigner中

powerdesigner 详细很多人都用过,很多人可能也有用来连接各种数据库以及从数据库中把表结构更新到powerdesigner的model中,或者将自己设计的表结构应用到数据库中.那么我今天就说是如果连接oracle,以及把oracle的表结构导入到powerdesigner中进行设计. 应用环境: Windows 10 64位: oracle 11g: powerdesigner 15.1: 如果没有安装odbc驱动,直接选择Microsoft自带的oracle odbc 进行连接通常会

表结构变更后出现的ERROR OGG-01161 Bad column index (88)

2014-07-31 09:38:31 ERROR OGG-01668 PROCESS ABENDING. 2014-07-31 09:38:31 ERROR OGG-01161 Bad column index (88) specified for table WIP.WIP_PARAMETERS, max columns = 88. 网上有说是表结构不一致的.可是我已经细致比对了每一个字段.是一致的. 那为什么初始化同步就出问题呢? 应该是打补丁导致源端表结构发生了变化,比方添加了字段. 此

MySQL不同库名相同表结构实现主从配置

数据库版本 5.6.16 在两个服务器上,存在不同名字的数据库,但是两个数据库中的所有表结构相同,实现主从复制. 主库服务器的数据库名为yoon,从库服务器的库名为hank 在从库的my.cnf配置文件中添加如下参数,并重启数据库replicate-rewrite-db = yoon -> hank 设置主从:change master to master_host='172.16.9.243',master_port=3306,master_user='master',master_passw

Oracle表结构转换SqlSERVER表结构脚本

在审计工作中,有时需要将Oracle的表结构修改后再SqlSERVER中创建表结构,然后将数据导入到SqlSERVER中,在修改表结构的过程中方法狠多.手工修改,最蠢的方法,或者用工具UE批量修改,还凑合的方法,最方便的方法就是用脚本唰的一下,全部改好 : vi parameter.ini#sysType---1:Linux;others:windowssysType=1#readFiledir is OldFilereadFiledir=/root/tmpmycnf/dbquery/y

Oracle复制表结构和表数据

一, 复制表结构及数据 create table z_xudebiao_test as select * from v_topic v where v.adddate > to_date('2016-01-01 00:00:00','yyyy-mm-dd hh24:mi:ss'); 二, 复制表结构 create table z_xudebiao_test as select * from v_topic v where 1=2 或者 create table z_xudebiao_test l