应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(三、指标计算参数输入)

在本系统中,针对计量系统的数据计算是最复杂的,其中需要采用多种转换以及公式计算,并且需要结合系统预置的一些计算参数以及每个台区的一些补充技术参数进行计算,计算的过程分为5大步骤(转换):

1、 根据系统时间获取到计量系统瞬时数据的表名(计量系统每天都会生成一个以日期命名的新表)。

2、 从系统数据库中读入系统级的计算参数。

3、 计算每日指标。

4、 计算每日告警信息。

5、 计算每月指标(每月1号执行一次)。

在实现上述5大步骤的同时,辅以清空重复数据以及自动重试机制,保证计算数据的正确性。

计算作业脚本如下图所示:

下面详细介绍一下每个转换的详细实现:

获取瞬时数据的表名:

该转换比较简单,2个控件完成,第一个是通过脚本获取当前系统时间,并拼接成瞬时数据的表名。(不限于用sql脚本),完成后将结果输出到变量,活动类型为当前作业。

读取系统计算参数:

该转换由2个表输入和2个设置变量和1个列转行来完成,系统计算参数是由每行一个参数及其值来保存(如下图的预览数据),但是设置变量控件是以字段为输入的,所以在这里使用了一个列转行控件。

在行转列过程中会用到一个分组字段,如果不分组的话,必须新增一个无用列来输入,该列的值只要全部相同即可。在行转列完成后,将值设置到相应名称的变量即可。

  

在本转换中,获取完成系统的计算参数后,还要设置好数据所属的时间,如下图所示,作为业务上与本次计算相匹配的时间,主要方法是查询计量系统瞬时数据表的数据时标(数据采集的时间),分别以日期部分以及月份作为2个字段输出,并置为变量输入到下一步指标的计算中,作为指标的业务时间。

时间: 2024-10-02 18:12:23

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(三、指标计算参数输入)的相关文章

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(一、同构数据抽取)

一.概述 本案例是一个小型数据抽取分析类系统,通过抽取数据共享中心中生产管理系统.营销管理系统.计量自动化系统的配网台区(一个台区一个配变)的相关数据进行整合,完成有关台区的50多个字段按照日.月.多月等维度的集中计算展示,其中有17个指标字段需要系统进行自动计算,并于每天对不同部门关注的台区指标进行超标告警,除开这些基本要求之外,用户还要求支持历史报表的查询以及可以对部分计算参数进行配置修改,甚至可以修改计算参数后对历史报表产生影响. 经过数据量分析,配变基本数据方面,生产有300多万个功能位

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(四、每日指标的计算下)

台区负载情况计算(新增按值排序控件的使用): 台区负载情况 1.对变压器类型为干性的配变,“负载率超过80%(100%)持续时间”大于等于1小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 2.对变压器类型为油浸式的配变,“负载率超过80%(100%)持续时间”大于等于2小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 台区负载情况的计算流程如下图所示: 首先针对每行数据(每15分钟的值)的负载率判断其过载情况,采用javascript代码脚本控件进行

Pentaho Data Integration (Kettle) 简介

Pentaho Data Integration (Kettle) 一套基于Java的开源ETL工具集,是商务智能套件Pentaho的一部分. 社区主页:http://community.pentaho.com/projects/data-integration 帮助文档:https://help.pentaho.com/Documentation 发行版 :https://sourceforge.net/projects/pentaho/files/Data%20Integration 源码

Pentaho data integration(kettle) 在Mac上启动不了

环境 MacOS Mojave (10.14.1) Pentaho Data Integration 8.2 Java 8 现象 从官方下载下来最新的安装包,解压之后,双击Data Integration,报安全问题,询问是否打开,同意并输入自己的开机密码. 然后,等了几秒之后,发现没有任何反应,再次双击Data Integration,依然没有任何相应. 解决办法 从Terminal启动 从terminal进入到解压之后的目录data-integration中,找到脚本spoon.sh,然后执

ETL工具 — Data Integration (Kettle) 下载安装

一.Data Integration(Kettle) 是基于java开发的一款软件,首先必须先安装JDK. 1.下载JDK安装包,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html 点击下载按钮进入下载界面  ,根据系统选择相应的版本下载. 2.下载后安装JDK,安装过程中可以自定义安装目录等信息,例如我们选择安装目录为 C:\Program Files\Java\jdk1.8.0_112. 3.安装完

Pentaho Data Integration (二) Spoon

上一篇:Pentaho Data Integration笔记 (一):安装 介绍 Spoon Intoduction site: http://wiki.pentaho.com/display/EAI/.01+Introduction+to+Spoon Spoon 是一个图形化用户界面,用户可以通过Spoon来设计transformations(数据转换文件)和jobs(数据转换任务),transformation与jobs可以在Pan和Kitchen这两个Kettle开发的工具执行并得出结果.

Pentaho Data Integration (三) Pan

官网连接: http://wiki.pentaho.com/display/EAI/Pan+User+Documentation Pan Pan 是一个可以执行使用Spoon编辑的transformation的程序. 解压缩PDI Software.zip就得到了Pan.bat 命令行使用Pan执行Transformation 官网主要介绍Linux平台下的命令,我主要介绍Windows平台下的命令 Options 选项 格式  /option:“value” Parameters 参数 格式

Pentaho Data Integration Step: BD Procedure Call

官网连接:http://wiki.pentaho.com/display/EAI/Call+DB+Procedure 描述 调用数据库存储过程步骤允许用户执行一个数据库存储过程,并且得到结果.存储过程或者方法只能通过他们的参数返回数据,并且输出参数必须定义在数据库存储过程Parameters中. F&Q 1. 设置完成DB Procedure Call之后,报错找不到相应的存储过程 在Proc-name中点击"Find it..."按钮之后,在Proc-name文本框当中的字符

Pentaho Data Integration 界面开发

1,简介 PDI界面使用了xul技术.通过配置xul文件就可以修改界面了.其次,具体图形界面的开发也用到了eclipse swt 和 Jface包.本文记录如何修改PDI的主界面的菜单栏,并新添加的菜单栏上做一些操作. 2,PDI中的xul配置 主要的配置文件有两个spoon.xul 和 menubar.xul.它们在项目主目录的 ui 目录下.spoon.xul 中定义了主界面的菜单栏.工具栏,同时也引用了 menubar.xul <pen:include src="menubar.xu