kettle日志记录

环境描述:

现在一个项目有很多个作业,需要知道每次跑批后哪些ktr跑成功,哪些失败了

问题解决:

下面是一个具体的操作流程

首先建立数据库表

CREATE TABLE test_1(id INT,NAME VARCHAR(10));

INSERT INTO test_1 VALUES(1,‘hsj‘);

CREATE TABLE test_2(id INT  PRIMARY KEY NOT NULL,NAME VARCHAR(10));

数据库表建立完毕之后,新建ktr,ktr示意图如下:

在上图界面右键--“转换设置”,可以看到如下界面:

上图中日志数据库连接为数据库日志表所存放数据库的连接,日志表名称随便命名

点击“SQL”,出现如下界面

点击上图中“执行”

日志表已经成功建立。

接着执行测试

查询数据库日志表

SELECT * FROM ETL_LOG

  

以下是LOG_FIELD字段的值:

2016/09/08 17:22:22 - Spoon - 转换已经打开.
2016/09/08 17:22:22 - Spoon - 正在打开转换 [日志记录]...
2016/09/08 17:22:22 - Spoon - 开始执行转换.
2016/09/08 17:22:22 - 日志记录 - 为了转换解除补丁开始 [日志记录]
2016/09/08 17:22:22 - 表输出.0 - Connected to database [DB2] (commit=1000)
2016/09/08 17:22:22 - 表输入.0 - Finished reading query, closing connection.
2016/09/08 17:22:22 - 表输入.0 - 完成处理 (I=1, O=0, R=0, W=1, U=0, E=0
2016/09/08 17:22:22 - 表输出.0 - 完成处理 (I=0, O=1, R=1, W=1, U=0, E=0

END

  

时间: 2024-08-07 08:09:59

kettle日志记录的相关文章

前端学HTTP之日志记录

前面的话 几乎所有的服务器和代理都会记录下它们所处理的HTTP事务摘要.这么做出于一系列的原因:跟踪使用情况.安全性.计费.错误检测等等.本文将谥介绍日志记录 记录内容 大多数情况下,日志的记录出于两种原因:査找服务器或代理中存在的问题(比如,哪些请求失败了),或者是生成Web站点访问方式的统计信息.统计数据对市场营销.计费和容量规划(比如,决定是否需要增加服务器或带宽)都非常有用 可以把一个HTTP事务中所有的首部都记录下来,但对每天要处理数百万个事务的服务器和代理来说,这些数据的体积超大,很

Spring AOP进行日志记录

在java开发中日志的管理有很多种.我一般会使用过滤器,或者是Spring的拦截器进行日志的处理.如果是用过滤器比较简单,只要对所有的.do提交进行拦截,然后获取action的提交路径就可以获取对每个方法的调用.然后进行日志记录.使用过滤器的好处是可以自己选择性的对某一些方法进行过滤,记录日志.但是实现起来有点麻烦. 另外一种就是使用Spring的AOP了.这种方式实现起来非常简单,只要配置一下配置文件就可以了.可是这种方式会拦截下所有的对action的每个操作.使得效率比较低.不过想做详细日志

sqlmap批量扫描burpsuite拦截的日志记录

1.功能上,sqlmap具备对burpsuite拦截的request日志进行批量扫描的能力 python sqlmap.py -l hermes.log --batch -v 3 --batch:会自动选择yes -l : 指定日志文件 -v: 调试信息等级,3级的话,可以看大注入的payload信息 2.如何配置burpsuite拦截扫描对象? 4.其他方式拦截的request日志文件,也可以 5.使用--smart智能探测效果不是很好,还是采用一些配置,加深扫描比较好 python sqlm

巧用CurrentThread.Name来统一标识日志记录

先看下面的日志: 2017/5/21 18:00:01 [OrderQuery_180001914_C72FF]请求支付中心参数:{"order_no":"KB201705210000165","sign":"e6c3559cd4b36458b180f15bfcd9b5a5"} 2017/5/21 18:00:01 [OrderQuery_180001914_C72FF]支付中心验签通过. 2017/5/21 18:00:01

Haproxy 开启日志记录

CentOS 7上yum安装的Haproxy,默认没有记录日志.需要做一下配置才能记录日志.(不知道其他版本是否需要,已经忘记了)主要是用到了Haproxy,以前貌似没有这么麻烦,今天配置出了一些问题查日志才发现原来Haproxy需要自己手工开启日志记录功能.因此作为相关记录! 1. 创建记录日志文件 mkdir /var/log/haproxy chmod a+w /var/log/haproxy 2. 开启rsyslog记录haproxy日志功能 编辑"/etc/rsyslog.conf&q

PHP 错误与异常的日志记录

提到 Nginx + PHP 服务的错误日志,我们通常能想到的有 Nginx 的 access 日志.error 日志以及 PHP 的 error 日志.虽然看起来是个很简单的问题,但里面其实又牵扯到应用配置以及日志记录位置的问题,如果是在 ubuntu 等系统下使用 apt-get 的方式来安装,其自有一套较为合理的的配置文件可用.再者运行的应用程序中的配置也会影响到日志记录的方式及内容. 错误与异常的区别 关于错误与异常,我们可以用一个简单的例子来理解: <?php try { 1 / 0;

SecureCRT日志记录

今天在推特上看到有人谈起SecureCRT日志记录的问题,貌似很多人都有这习惯 我是开始工作后才使用SecureCRT,一直没记录过日志 不过搜了下,看看这功能不错,可以看看自己做什么,有时甚至可以看看之前是不是犯了什么错,很不错的功能 所以我也决定开始记录日志,设置很简单,不过我自己瞎捣鼓发现还可以自动分文件夹,不知道大家是否都知道,因为我搜的几篇文章都没提到 下面开始说怎么设置吧,希望能帮到你 在菜单里选择"选项"--"全局选项" 然后选择常规--默认会话--编

Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录(转)

文章转自:http://www.osyunwei.com/archives/8998.html 说明: 操作系统:CentOS Mongodb安装目录:/usr/local/mongodb Mongodb数据库存放目录:/home/data/mongodb/mongodb_data Mongodb日志存放目录:/home/data/mongodb/mongodb_log 实现目的: 对Mongodb数据库日志按天保存,并且只保留最近7天的日志记录. 具体操作: 使用Mongodb数据库自带的命令

haproxy高可用日志记录配置文件

关于haproxy的日志配置问题,这里单独说明下,默认haproxy的日志是输出到系统的syslog中,查看起来不是非常方便,为了更好的管理haproxy的日志,我们在生产环境中一般单独定义出来,定义的方法如下: 首先,我们修改haproxy关于日志配置的选项,加入下面配置: log /dev/log local0 info log /dev/log local0 notice 说明:这2行配置放到haproxy的global配置项目中,主要是将haproxy的info及notice日志分别记录