KETTLE后台进程执行配置方式

原文链接

1、简介Kettle的Kitchen和Span

前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以及运行,也给出了Demo实战,那么实际上我们的应用模式可能会要求在服务器上以后台进程的方式运行这个ETL任务,就像我们传统上一般都是用Windows服务的方式来处理数据一样,那么用Kettle我们怎么去实现呢?这就需要我们了解一下Kettle的Kitchen和Span。

Kitchen——工作(job)执行器 (命令行方式)
 Span——转换(trasform)执行器 (命令行方式)

这里我们重点讲一下 Kitchen.bat作业执行器 ,这个是经常要用到的。

它是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,它的参数说明如下:

    -rep      : Repository name   任务包所在存储名
    -user     : Repository username   执行人
    -pass     : Repository password   执行人密码
    -job      : The name of the job to launch 任务包名称
    -dir      : The directory (don‘‘t forget the leading / or \) 
    -file     : The filename (Job XML) to launch 
    -level    : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别
    -log      : The logging file to write to  指定日志文件
    -listdir  : List the directories in the repository 列出指定存储中的目录结构。
    -listjobs : List the jobs in the specified directory 列出指定目录下的所有任务
    -listrep  : List the defined repositories 列出所有的存储
    -norep    : Don‘‘t log into the repository  不写日志

2、命令行调度任务配置方式

还是拿我在前面文章中提到的第一个例子来去讲一下具体的配置方式,主要的思路就行首先定位到kettle中Kitchen.bat的根目录,然后执行kitchen命令;

步骤1:首先我们建立一个bat文件,然后点击编辑进入之后,如下所示,这是定位到Kitchen.bat的目录;

E:
cd E:\ETL\pdi-open-3.1.0-826

步骤2:执行kitchen命令,如下:

kitchen /file:E:\ETL\脚本文件\MyTest.kjb /level:Basic>>D:\MyTest.log

这里注意配正确路径,然后后面是一个基本的日志模式,后面也需要配置日志的输出路径;

3、后台进程配置运行方式

前面我们已经把bat文件建立起来了,这时候我们可以以bat方式运行我们的ETL任务了,不过它的问题是服务器桌面上永远有个黑CMD屏幕,而且不能关,怎么让Bat在屏幕上消失而后台还能运行呢?具体方法有很多种这里介绍两种:

方法一

  bat里有隐藏窗口的命令,很简单,只需要在代码头部加一段代码就可以了。

  @echo off

  if "%1" == "h" goto begin

  mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&&exit

  :begin

  ::下面是你自己的代码。

方法二

  在你批处理的相同目录下新建一个记事本,里面输入:

  DIM objShell set objShell=wscript.createObject("wscript.shell")

  iReturn=objShell.Run("cmd.exe /C c:\1.bat", 0, TRUE)   

  (其中win.bat为你自己的批处理名字,自己改)

  然后把这个记事本保存为后缀名为.vbe的文件,到时候你只要运行这个vbe文件就达到目的了!

  可以写的简单点:

  Set ws = CreateObject("Wscript.Shell")

  ws.run "cmd /c c:\1.bat",0

  或者

  CreateObject("WScript.Shell").Run "cmd /c c:\1.bat",0

  (这种写法很多杀软报毒, 需要替换参数0)

  最后那个0是指窗口参数,用法为:

  0 隐藏窗口并激活另一窗口。

  1 激活并显示一个窗口。若窗口是最小化或最大化,则恢复到其原来的大小和位置。

  2 激活窗口并以最小化显示该窗口。

  3 激活窗口并以最大化显示该窗口。

  4 按窗口最近的大小和位置显示。活动窗口保持活动。

  5 以当前大小和位置激活并显示窗口。

  6 最小化指定窗口并激活按 Z 序排序的下一个顶层窗口。

  7 最小化显示窗口。活动窗口保持活动。

  8 以当前状态显示窗口。活动窗口保持活动。

  9 激活并显示窗口。若窗口是最小化或最大化,则恢复到原来的大小和位置。在还原应用程序的最小化窗口时,应指定该标志。

4、Windows任务设置

经过前面的两步,我们已经可以让ETL作业在服务器上无声无息的运行了,但是如何自由调度呢,我们再结合windows的任务计划即可,这里不再赘述!

5、Demo下载

ETL脚本.bat

时间: 2024-11-09 05:03:26

KETTLE后台进程执行配置方式的相关文章

Kettle(Pentaho)实现web方式远程执行job或transformation

一.背景 公司在用kettle做数据etl,每做完一个job或transformation发布上线想要立即执行看数据效果的话每次都是找运维同学登陆服务器打开kettle找到对应的文件点击执行,整个过程效率低下,不仅占用运维时间,期间自己也在白白等待,浪费生命. google "kettle remotely execute" 得知,这个是有解决方案的,其实kettle 本身就自带了此解决方案,只是一直忙于工作无(lan)暇(de)研究.大致就是利用kettle自带的Carte  开启一

Windows下Kettle定时任务执行并发送错误信息邮件

Windows下Kettle定时任务执行并发送错误信息邮件 1.首先安装JDK 2.配置JDK环境 3.下载并解压PDI(kettle) 目前我用的是版本V7的,可以直接百度搜索下载社区版,企业版收费,社区版免费 下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 4.打开解压文件夹kettle找到spoon.bat,双击打开 5.新建作业 点击左上角文件=>新建=>作业 如下图: 6.然后开始建立作业

Spring AOP基于注解的“零配置”方式

Spring AOP基于注解的“零配置”方式: Spring的beans.xml中 <!-- 指定自动搜索Bean组件.自动搜索切面类 --> <context:component-scan base-package="org.crazyit.app.service,org.crazyit.app.aspect"> <context:include-filter type="annotation" expression="or

c3p0的常用配置方式

1:第一种方式非常简单 c3p0.driverClass=com.mysql.jdbc.Driver c3p0.jdbcUrl=jdbc:mysql://localhost:3308/database c3p0.user=root c3p0.password=root 文件名字为:c3p0.properties(放在src目录下面) //程序我写的比较简单,可以用来测试执行配置. package jdbc.mysql; import java.sql.Connection; import jav

SSH整合(配置方式)

工程目录: /SSH1/src/cn/itcast/domain/Book.java package cn.itcast.domain; /** * 图书 */ public class Book { private Integer id; // 图书编号 private String name; // 图书名称 private Double price; // 图书价格 public Integer getId() { return id; } public void setId(Intege

struts2中两种validation.xml的配置方式_百度文库

在struts中,根据配置的validation.xml文件进行页面输入项目的验证已经众所周知,本文介绍在struts2中两种validation.xml的配置方式.可以根据不同的需要进行不同的配置. 以下以login页面输入firstname,lastname,和age为例进行说明.struts.xml中,成功的话转向成功页面.不成功的话转回到原页面. 首先建立userbean文件.文件名:UserBean.java包:struts2.login.bean文件内容:package struts

DUBBO配置方式详解

DUBBO 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是阿里巴巴 SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点. Dubbo采用全Spring配置方式,透明化接入应用,对应用没有任何API侵入,只需用Spring加载Dubbo的配置即可,Dubbo基于Spring的Schema扩展进行加载. 根据 DUBBO 官方文档,配置 DUBBO 有 4 种方式,分别

【学习】Spring 的 AOP :基于Annotation 的“零配置”方式

转自:http://www.cnblogs.com/jbelial/archive/2012/07/20/2539123.html AOP(Aspect Orient Programming ) , 面向切面编程 . 1.AOP的基本概念: AOP框架并不与特定的代码耦合,AOP框架能处理程序执行中特定的切入点(Pointcut),而不与具体某个类耦合.AOP框架具有如下特征: 1.各步骤之间的良好隔离性. 2.源代码无关性. AOP的专业术语: 1.Aspect(切面) : 应用运行过程中的关

Action的书写方式和配置方式

三.Action访问环节 Action 有三种书写方式 Action 有三种配置方式 1.Action三种书写方式 第一种 用户定义Action类,可以不去实现任何接口,继承任何父类 第二种 用户定义Action类,实现Struts2 提供Action接口 (更规范 Action写法 ) public static final String SUCCESS = "success";  数据处理成功,需要返回成功页面 public static final String NONE = &