Kettle 中的循环

说道循环,小伙伴们肯定不陌生,就是重复干一件事;而kettle中的循环一般是发生在job中,因为job是串行执行的;

kettle的循环有两种,一种是通过js脚本,另外一种是通过遍历前面步骤返回的每一行。

下面是我写的伪代码,我将使用Kettle来实现这段代码:


array = [‘sys1‘,‘sys2‘,‘sys3‘,‘sys4‘]

for variable in array:
     if variable == ‘sys1‘ :
         print(‘%s被调用‘%(variable,))
        
     elif variable == ‘sys2‘ :
         print(‘%s被调用‘%(variable,))
    
     elif variable == ‘sys3‘ :
         print(‘%s被调用‘%(variable,))
    
     elif variable == ‘sys4‘ :
         print(‘%s被调用‘%(variable,))
    
     else :
         print(‘没有被调用‘)

代码里循环变量是variable,用for遍历完整个数组,则表示循环结束。

循环体中有一组判断条件,判断数组中的元素归于哪一个分支。

如果所有判断条件都不符合,则打印“没有被调用”

1. Kettle作业介绍

schedule_job.kjb : 用来关联循环变量和循环体的作业,也是调用的入口,可以理解main

get_data_from_datagrid.ktr : 生成数组,也就是循环条件。

cycle_body_job.kjb : 循环体,数组里有几条数据,循环体就执行几次。

2. 下图是 schedule_job 的结构,它的作用是连接循环条件和循环体,所以这个作业中包含其他两个步骤

接下来我会展开每个步骤里的设置方法,最后再介绍schedule_job 是如何设置的;

如果展开的是文件,则直接写文件名,如果展开的是步骤,则带上文件名-步骤名称。

例如 展开文件 get_data_from_datagrid.ktr

展开步骤 get_data_from_datagrid-Data Grid

3. get_data_from_datagrid.ktr 展开

只有两个步骤,一个是data grid,用来生成数组,另外一个步骤是Copy rows to result ,用来把返回的数据复制到结果中,可以返回给调用者。调用者就是外面的schedule_job.ktr。

4. get_data_from_datagrid-Data Grid 展开

在Meta选项卡中填写字段信息, 字段名是SYSTEMNAME 类型是字符串

在Data选项卡里填写字段的值,这个过程就好像往excel里填数据一样。

5. cycle_body_job.kjb 展开

双击空白的地方,打开“Parameters”选项卡, 在里面输入变量名SYSTEMNAME。这个变量跟前面的步骤中字段名相同。

6. cycle_body_job-is_sys1 展开

其他判断条件类似,不一一展开。

7. schedule_job 设置方法

勾选“Execute every input row”

原文地址:https://www.cnblogs.com/fooobabar/p/10987554.html

时间: 2024-10-25 03:38:21

Kettle 中的循环的相关文章

关于kettle中作业循环的设置

循环是出现在作业中的概念,因为转换里的步骤是并行执行的,所以循环对它来说没什么意义.循环的需求肯定是"我想执行多次某个作业(转换)". 得到这样的需求,我们可以通过两种方式完成.一种是使用js脚本的方式,配合"条件判断"作业项来完成循环,因为这种方法太过复杂,所以不在本节详细描述. 下面介绍一种方法可以直接对作业或者转换进行循环.避免在作业中产生更多的作业项. 做这个实验需要两个转换和一个作业.他们分别如下: Jb_Test_Cycle_2 :整体调度,包括了Tr_

kettle的job中使用循环

 job中使用循环 在一个不稳定的网络环境下作文件传输.偶尔会有超时或连接重置.这时须要稍等片刻再重试.在重试10次之后放弃并结束该job.类似使用循环解决这类问题. 该演示样例job演示了这样的循环场景.文件传输步骤被虚拟的场景(随机数产生成功机率为10%)取代,成功即写日志报告成功.其它90%报告失败日志报告失败并继续,最多执行10次:点击下载演示样例: d 请同意我提醒一句.解决在之前不能确定循环运行次数的的情景下,使用本例中方法.假设是已知的循环次数或循环次数时可计算的,最好在单独的

kettle中调用java类

有时需要在kettle调用java类,如:验证.查询或自定义加密等.有时甚至连基本的数据访问都不那么简单,如获取一个存储文件或使用一个数据库连接,某些数据源可能封装在应用程序中,手工使用自定义的java客户端访问是唯一的方法.本文介绍如何在kettle中调用java类.示例代码在这里下载. 注:如果你使用kettle4.0及以上版本,也你也可以使用user defined java class 步骤实现.   Modified Java ScriptValue 步骤 关键要在kettle中使用M

kettle中实现动态SQL查询

kettle中实现动态SQL查询 在ETL项目中,通常有根据运行时输入参数去执行一些SQL语句,如查询数据.本文通过kettle中的表输入("table input")步骤来说明动态查询.参数查询.示例代码使用内存数据库(H2),下载就可以直接运行,通过示例学习更轻松. SQL查询语句中占位符绑定字段值 第一个接近动态语句的是大家熟悉的从SQL代码中执行,开始写一个SQL查询,包含一些占位符,然后绑定值到占位符,使之成为一个有效的查询并执行.根据需要可以绑定多个值并循环执行.本示例的名

kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询

kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询 假设你需要实现非传统的数据库查询操作,为了讨论这种情景,我们假设你需要读取数据库中的正则表达式,然后检查输入的每行的字段匹配表达式的个数. 在javascript步骤执行数据库查询 在javascript步骤初始化的时候,查询数据库,获取正则表达式记录集.然后每一行的输入数据循环检查是否匹配表达式,如果匹配,记录变量加一,最后把结果写到到前行的新增字段中.思路很清楚,但是如何在javascript步骤实现数据库

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询 如果你须要实现非传统的数据库查询操作.为了讨论这样的情景,我们如果你须要读取数据库中的正則表達式,然后检查输入的每行的字段匹配表达式的个数. 在javascript步骤运行数据库查询 在javascript步骤初始化的时候,查询数据库.获取正則表達式记录集.然后每一行的输入数据循环检查是否匹配表达式,假设匹配.记录变量加一,最后把结果写到到前行的新增字段中. 思路非常清楚,可是怎样在javascript步骤实

Kettle中根据一个输入行派生出多个输出行

依然在北京,早上停电了,整个人感觉对不好了,接下来就说一下在使用ETL工具kettle做数据校验的时候遇到的一些问题,一级解决方案. 1:数据校验效果图下图: 原始表数据(需要校验的表数据) 对上表数据进行校验,校验规则,order_nane.order_type不为空,order_money2>order_money2视为有效 校验结果如下图所示: 在展现工具BIEE中具有会写功能,根据上面检查结果,可以把正确结果会写到数据库 2:kettle中的处理 1:日志表结果如1中的图示 2:需要ch

js中的循环语句

js中的循环语句可分为三种:1.while:2.do……while:3.for. while的语法为 while (exp) {    //statements;} var a=1,b=0; while(a<=1000){ if(a%2==0){ if(b%20==0) { document.write("<br>第"+parseInt(b/20+1)+"行偶数"); } document.write(a+"&nbsp"

scala学习手记2 - scala中的循环

先来看一段Java中的循环: for (int i = 1; i < 4; i++) { System.out.print(i + ","); } 毫无疑问,scala可以让这个循环更加简洁.根据上一节中的内容,没有必要显示指定变量i的类型,我们甚至不需要声明这个变量.其次输出的语句也可以更加简洁一些,在scala中可以直接使用println()这个方法输出字符串.最后scala的循环结构也是非常的轻量级.好了,可以看一下代码了: for (i <- 1 to 3) { p