Kettle增量插入更新所有数据都拒绝情况处理

在一个Kettle中,我发现一个平时正常跑的转换,突然不正常了。他增量查询没问题,但是到插入更新的那一步,所有数据都拒绝,而且报错看不出什么。

经过排查,所有的写的步骤都是正确的,但是就是不进库。
后来,我把所有的步骤重新新建,然后就可以了!!!
再后来,我又遇到这种情况,然后把增量查询的sql重新复制,粘贴进去,再保存一下,也正常进库了。可能是kettle识别有问题把??

原文地址:https://blog.51cto.com/newcourage/2400620

时间: 2024-08-19 21:51:31

Kettle增量插入更新所有数据都拒绝情况处理的相关文章

ETL工具kettle基础--插入更新组件

插入更新组件主要是对表进行插入或者更新操作这个组件的逻辑是,根据选定的字段判断目标表中是否存在现有数据,如果存在则执行更新操作,否则执行插入操作:首先选择或添加一个数据库连接,目标模式指的是用户,用户同实例跨用户访问,提交记录数量理论上比较大的值有助于提高速度,但有可能引起锁表,所以一般不要设置太大,100-10000之间就好,如果出现频繁锁表的情况下也可以将值设置为1:'不执行任何更新':这个选项实际应用中我不一般不选择,如果勾选了,那么就不会对表执行任何的更新操作,这个我们一般是在目标表不存

插入,更新,删除数据

数据插入 INSERT是用来插入或者添加行到数据库表的,插入可以分为几种方法 插入完整的行 插入行的一部分 插入多行 插入某些查询的结果 插入完整的行 mysql> INSERT INTO customers VALUES(NULL, 'zhangsan', 'shandong', NULL, NULL, NULL, NULL, '15053631234', '[email protected]'); Query OK, 1 row affected (0.01 sec) 此例子插入一个新客户到

ORACLE no1 存储过程插入更新表数据

CREATE OR REPLACE PROCEDURE sp_cust_main_data_yx(InStrDate  IN VARCHAR2,                                                 OS_ERR_MSG OUT VARCHAR2) AS BEGIN  --1.清空临时表数据  execute immediate 'truncate table DATA_SALE_DAY_ITEM';  execute immediate 'trunca

mySQL教程 第5章 插入 更新与删除数据

第5章 插入 更新与删除数据 使用SQL Manager管理工具连接到schoolDB.由于三张表都设置了主键,因此,以下练习中插入的记录,主键不能重. 插入数据 1. 练习:为表的所有字段插入数据 为表中所有字段插入数据,可以不用指定列 其中的into可以省去 insert into TStudent values ('00008','白安','男','132302197604044565','19760404', '[email protected]','JAVA','20120803')

kettle插入/更新

1.数据库环境 --------------------实时表 CREATE TABLE NowTable(ID INT,NAME VARCHAR(100),Info VARCHAR(100)); INSERT INTO NowTable VALUES(1,'张启山','长沙'); INSERT INTO NowTable VALUES(2,'尹新月','长沙'); INSERT INTO NowTable VALUES(3,'二月红','长沙'); --------------------历史

kettle教程(1) 简单入门、kettle简单插入与更新。打开kettle

本文要点:Kettle的建立数据库连接.使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录.若存在,则更新.   Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据

oracle基于3种方法的大数据量插入更新

过程插入更新的3种方法: a.逐条检查插入或更新,同时执行插入或更新 b.逐条merge into(逐条是为了记录过程日志与错误信息) c.基于关联数组的检查插入.更新,通过forall批量sql执行 以下为模拟步骤: 1.创建模拟大表,数据量1亿不分区 create table big_table as SELECT ROWNUM RN,'A' A,'B' B,'C' C,'D' D FROM ( SELECT ROWNUM RN FROM DUAL CONNECT BY ROWNUM <=

update忘了加where条件,不小心把oracle数据库里某张表的全表数据都更新了怎么办?

问题描述:数据库突然出问题了,一张物资价格表全部更新成了同一个价格,13万条数据 跟大家分享一下我自己跳的坑,希望对遇到类似问题的小伙伴有一点点帮助.ps:属于技术比较low的,所以自己进的坑比较深,解决方法可以直接看6和8 1.首先客户有数据库备份,每天凌晨都有数据库备份,我们没有dba权限,客户通过数据库监控日志查出18号有一个13万数据的update没有加where条件,给了我备份的数据库文件. 2.创建了新的表空间,表用户,导入18号的数据库(我的电脑上装了oracle服务) eg:创建

SQLServer用存储过程实现插入更新数据

实现 1)有相同的数据,直接返回(返回值:0): 2)有主键相同,但是数据不同的数据,进行更新处理(返回值:2): 3)没有数据,进行插入数据处理(返回值:1). [创建存储过程] Create proc Insert_Update @Id varchar(20), @Name varchar(20), @Telephone varchar(20), @Address varchar(20), @Job varchar(20), @returnValue int output as declar