Pentaho Data Integration (二) Spoon

上一篇：Pentaho Data Integration笔记 (一)：安装

介绍

Spoon Intoduction site: http://wiki.pentaho.com/display/EAI/.01+Introduction+to+Spoon

Spoon 是一个图形化用户界面，用户可以通过Spoon来设计transformations(数据转换文件)和jobs(数据转换任务)，transformation与jobs可以在Pan和Kitchen这两个Kettle开发的工具执行并得出结果。Pan是一个数据转换引擎，提供了一系列的方法，例如读取、操纵和写数据，也可以从数据源读取变量。Kitchen是一个执行job的程序，job由Spoon编写完成，并且保存为XML文件或者保存在数据仓库。Jobs常常定期运行。

基本操作

创建Transformation或者Job： http://wiki.pentaho.com/display/EAI/.02+Creating+a+Transformation+or+Job

有三种方式创建Transformation

  1. 点击主工具栏上的 “New Transformation button”
  2. 点击New,然后点击Transformation
  3. 使用CTRL-N快捷键

有三种方式创建Job

  1. 点击主工具栏上的 “New Job button”
  2. 点击 New, 之后点击 Job
  3. 使用 CTRL-ALT-N 快捷键

右键点击空白处，添加注释

时间： 2024-12-06 18:41:15

Pentaho Data Integration (二) Spoon的相关文章

Pentaho data integration(kettle) 在Mac上启动不了

环境 MacOS Mojave (10.14.1) Pentaho Data Integration 8.2 Java 8 现象 从官方下载下来最新的安装包,解压之后,双击Data Integration,报安全问题,询问是否打开,同意并输入自己的开机密码. 然后,等了几秒之后,发现没有任何反应,再次双击Data Integration,依然没有任何相应. 解决办法 从Terminal启动 从terminal进入到解压之后的目录data-integration中,找到脚本spoon.sh,然后执

Pentaho Data Integration (Kettle) 简介

Pentaho Data Integration (Kettle) 一套基于Java的开源ETL工具集,是商务智能套件Pentaho的一部分. 社区主页:http://community.pentaho.com/projects/data-integration 帮助文档:https://help.pentaho.com/Documentation 发行版 :https://sourceforge.net/projects/pentaho/files/Data%20Integration 源码

Pentaho Data Integration (三) Pan

官网连接: http://wiki.pentaho.com/display/EAI/Pan+User+Documentation Pan Pan 是一个可以执行使用Spoon编辑的transformation的程序. 解压缩PDI Software.zip就得到了Pan.bat 命令行使用Pan执行Transformation 官网主要介绍Linux平台下的命令,我主要介绍Windows平台下的命令 Options 选项 格式  /option:“value” Parameters 参数 格式

Pentaho Data Integration Step: BD Procedure Call

官网连接:http://wiki.pentaho.com/display/EAI/Call+DB+Procedure 描述 调用数据库存储过程步骤允许用户执行一个数据库存储过程,并且得到结果.存储过程或者方法只能通过他们的参数返回数据,并且输出参数必须定义在数据库存储过程Parameters中. F&Q 1. 设置完成DB Procedure Call之后,报错找不到相应的存储过程 在Proc-name中点击"Find it..."按钮之后,在Proc-name文本框当中的字符

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算（一、同构数据抽取）

一.概述 本案例是一个小型数据抽取分析类系统,通过抽取数据共享中心中生产管理系统.营销管理系统.计量自动化系统的配网台区(一个台区一个配变)的相关数据进行整合,完成有关台区的50多个字段按照日.月.多月等维度的集中计算展示,其中有17个指标字段需要系统进行自动计算,并于每天对不同部门关注的台区指标进行超标告警,除开这些基本要求之外,用户还要求支持历史报表的查询以及可以对部分计算参数进行配置修改,甚至可以修改计算参数后对历史报表产生影响. 经过数据量分析,配变基本数据方面,生产有300多万个功能位

Pentaho Data Integration 界面开发

1,简介 PDI界面使用了xul技术.通过配置xul文件就可以修改界面了.其次,具体图形界面的开发也用到了eclipse swt 和 Jface包.本文记录如何修改PDI的主界面的菜单栏,并新添加的菜单栏上做一些操作. 2,PDI中的xul配置 主要的配置文件有两个spoon.xul 和 menubar.xul.它们在项目主目录的 ui 目录下.spoon.xul 中定义了主界面的菜单栏.工具栏,同时也引用了 menubar.xul <pen:include src="menubar.xu

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算（四、每日指标的计算下）

台区负载情况计算(新增按值排序控件的使用): 台区负载情况 1.对变压器类型为干性的配变,“负载率超过80%(100%)持续时间”大于等于1小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 2.对变压器类型为油浸式的配变,“负载率超过80%(100%)持续时间”大于等于2小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 台区负载情况的计算流程如下图所示: 首先针对每行数据(每15分钟的值)的负载率判断其过载情况,采用javascript代码脚本控件进行

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算（三、指标计算参数输入）

在本系统中,针对计量系统的数据计算是最复杂的,其中需要采用多种转换以及公式计算,并且需要结合系统预置的一些计算参数以及每个台区的一些补充技术参数进行计算,计算的过程分为5大步骤(转换): 1. 根据系统时间获取到计量系统瞬时数据的表名(计量系统每天都会生成一个以日期命名的新表). 2. 从系统数据库中读入系统级的计算参数. 3. 计算每日指标. 4. 计算每日告警信息. 5. 计算每月指标(每月1号执行一次). 在实现上述5大步骤的同时,辅以清空重复数据以及自动重试机制,保证计算数据的正确性.

ETL工具 — Data Integration (Kettle) 下载安装

一.Data Integration(Kettle) 是基于java开发的一款软件,首先必须先安装JDK. 1.下载JDK安装包,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html 点击下载按钮进入下载界面  ,根据系统选择相应的版本下载. 2.下载后安装JDK,安装过程中可以自定义安装目录等信息,例如我们选择安装目录为 C:\Program Files\Java\jdk1.8.0_112. 3.安装完