kettle入门(四) 之kettle中取任意时间变量的使用详细案例

引:

在数据仓库项目中 有一类和生产或者外围系统交互的接口称为FTP文件接口, 用kettle开发、实现这种接口 配置脚本时,经常需要用时间变量来取或者上传FTP里面 固定格式文件名的文本,例如 生产系统定时 每天推送前天的数据文本 到某个FTP服务器

2014-04-28 推送文件名 2015-04-26.txt.gz

2014-04-27 推送文件名 2015-04-25.txt.gz

实现:

kettle 版本3.0.4,如下图所示:

所需要三个功能组件 1 获取系统信息 2 java script value 3 set 变量

下面看第一个组件,可以自动获取系统的时间 例如当前时间 即下图的系统日期(变量) 、今天00:00:00等 先取今天的日期

点击下图左下角的 类型 下面行 会弹出右侧下脚的 选择信息类型 再里面点击 今天00:00:00 然后 写上名称即可

下图看第二个组件 :

主要实现是用js代码

Format 那一大块是一个格式化函数 功能是把时间格式化成 自己需要的时间格式

Format下面那行 new 当前时间对象 2代表2天 24*60*60*1000代表1天时间的ms数

--即当天减去2天时间ms数 得到前天的时间

下图第三个组件:

设置环境变量 即把js中的变量名 设置到系统 或者job可用的变量名中 变量活动类型 有Java虚拟机、父Job、父父Job、根Job。为了便于测试 这里选择Java虚拟机

下面是点击运行的测试结果:

画红圈部分可以看到变量设置成功了!

下图是一个 使用变量设置ktr 的kjb

目的就是每天生成2015-04-26 这样 前天日期的文本 然后用 sftp中的正则表达式匹配 上传到指定服务器, 画红圈是filedate_YCL.ktr中设置的变量名。

附录 :

组件二里的js脚本:

Date.prototype.Format = function (fmt) { //author: meizz
    var o = {
        "M+": this.getMonth() + 1, //月份
        "d+": this.getDate(), //日
        "h+": this.getHours(), //小时
        "m+": this.getMinutes(), //分
        "s+": this.getSeconds(), //秒
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度
        "S": this.getMilliseconds() //毫秒
    };
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));
    for (var k in o)
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));
    return fmt;
}

var dtNew=new Date(new Date().getTime()-2*24*60*60*1000).Format("yyyyMMdd");--new 当前时间对象 2代表2天 24*60*60*1000代表2天时间的ms数
--即当天减去2天时间ms数 得到前天的时间

备注:

new Date(new Date().getTime()-2*24*60*60*1000).Format("yyyyMMdd");

2这个地方 可以任意改 想取多少天前的就写多少天,减也可以改成加 yyyyMMdd  格式也可以改为   yyyyMM   或者   yyyy-MM-dd 或者     yyyy/MM/dd

取时分秒  yyyy/MM/dd/ hh:mm:ss  很灵活方便

取当前季度  
yyyy/MM/dd/qq hh:mm:ss qq是季度

时间: 2024-12-16 18:58:23

kettle入门(四) 之kettle中取任意时间变量的使用详细案例的相关文章

kettle入门(五) 之kettle读取gz格式文本详细案例

背景: ods平台的一个很简单的数据共享需求: 运营商的某个部门每天定时送gz格式的HLR文本数据到FTP服务器的固定目录下.然后ods每天定时去取然后录入到RDBMS的表中,开放给其他系统查询调用,这种称作数据库表接口. 需求很简单,但是因为以前只用过文本输入做txt 或者csv.excel ,所以一时就想怎么先把gz格式解压出来,再用文本文件输入,首先想到了用 kettle3自带的unzip 功能 如下图: 结果发现 解压不了gz格式的,后来又想到使用shell命令,但是在后台putty可以

kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示

引: ods有个工程表来自于上游系统,数据量不大 十几万,下游系统需要此数据,并且需要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示,即数据若是插入 有插入时间和插入标示 若是修改 有修改时间和修改标示 若是删除需逻辑删除.有删除标示且有删除时间 解决: kettle的转换ktr里有一个图元叫做合并记录,可以把两个表输入分为源和目的根据唯一标示 进行全量比对.由此,我们得到增量的数据流,再写入到RDBMS里,即可以实现该需求.实现功能的ktr如下图: 1 输入源 合并记录 上图,

kettle入门(七) 之kettle增量方案(一)全量比对取增量-依据唯一标示

引: ods有个project表来自于上游系统,数据量不大 十几万,下游系统须要此数据,而且须要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示,即数据若是插入 有插入时间和插入标示 若是改动 有改动时间和改动标示 若是删除需逻辑删除.有删除标示且有删除时间 解决: kettle的转换ktr里有一个图元叫做合并记录.能够把两个表输入分为源和目的依据唯一标示 进行全量比对.由此.我们得到增量的数据流,再写入到RDBMS里,即能够实现该需求.实现功能的ktr例如以下图: 1 输入源 合

kettle入门(六) 之kettle抽取变量表名表

背景: ods平台的一个很简单的数据抽取需求: 上游系统有一个月表,每个月出上个月数据并放在新建的月表里.例如:20150401出3月份表和数据 TB_B_FT_BROADBAND_201503, 20150501出4月份表和数据 TB_B_FT_BROADBAND_201504.而ods需要每月初等他们数据出来后再抽取过来. 需求很简单,用kettle最常见的表输入和输出抽取即可,但是表输入的select 语句里面的表名需要使用变量. 解决: 使用job kjb如下 完成此需求,如下图,步骤如

kettle入门(三) 之kettle连接hadoop&hdfs图文详解(转)

1 引言: 项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把源系统的文本数据load到hadoop环境中 2 准备工作: 1 首先 要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 打开这个url 到页面最下面的底端,如下图: ar

kettle入门(三) 之kettle连接hadoop&hdfs图文详解

1 引言: 项目最近要引入大数据技术,使用其处理加工日上网话单数据,需要kettle把原始文本数据load到hadoop环境中 2 准备工作: 1 首先 要了解支持hadoop的Kettle版本情况,由于kettle资料网上较少,所以最好去官网找,官网的url: http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 打开这个url 到打开页面最下面的底端如下图: arc

Hibernate入门(四)之hibernate中session的创建方式

为什么要专注于session的创建方式 在有些场景必须关注session的创建,比如说在银行转账操作的时候,两个账户转账必须在同一个session中 如上面所示,账户1钱没了,账户2钱却没有到,原因就在于两者不再同一个事务当中,不能实现事务的回滚. getCurrentSession 说明: 1.产生方式的说明 1.先检查当前线程中是否有session 2.如果当前线程中有session,则把session提取出来,直接使用 3.如果当前线程中没有session,则采用openSession方法

Android开发:在onTouchEvent中处理任意时间的长按事件

Android提供了GestureDetector类来处理一些常用的手势操作,比如说 onLongPress,onFling 等.但这里不使用GestureDetector,而是直接在自定义View重写的onTouchEvent中进行处理. 欲实现的效果是:当手机按住屏幕时,如果在指定的时间内没有移动(如500毫秒),那么进入长按模式,此时手指在屏幕上移动都算作长按模式.如果手机按住屏幕就立马移动,那么就算作移动模式. MotionEvent 类提供了记录当前坐标的函数(getX(),getY(

Kettle 入门笔记1

一,KETTLE介绍 Kettle是 (Extract, Transform and Load抽取.转换.加载)一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等. Spoon通过图形化的页面,方便直观的让你完成数据转换的操作. 二.Kettle下载 可到开源官网(https://community.hds.com)下载: Data Inte