【pentaho】【kettle】【Data Integration】试用

Pentaho BIServer Community Edtion 6.1 集成了 Kettle 组件,可以运行Kettle 程序脚本.但由于Kettle没有直接发布到 BIServer-ce 服务的程序,所以,在本地(Windows环境)通过图形化界面开发完成的ETL 脚本 (.ktr & .kjb) ,需要上传到BIServer-ce 管理的资源库,才能被BIServer-ce 运行和调度. 重点:Kettle 资源库 与 BIServer-ce 资源库 建立一致的目录管理ETL脚本文件.

Pentaho Data Integration (Kettle) 一套基于Java的开源ETL工具集,是商务智能套件Pentaho的一部分. 社区主页:http://community.pentaho.com/projects/data-integration 帮助文档:https://help.pentaho.com/Documentation 发行版 :https://sourceforge.net/projects/pentaho/files/Data%20Integration 源码

环境 MacOS Mojave (10.14.1) Pentaho Data Integration 8.2 Java 8 现象 从官方下载下来最新的安装包,解压之后,双击Data Integration,报安全问题,询问是否打开,同意并输入自己的开机密码. 然后,等了几秒之后,发现没有任何反应,再次双击Data Integration,依然没有任何相应. 解决办法 从Terminal启动 从terminal进入到解压之后的目录data-integration中,找到脚本spoon.sh,然后执

一.Data Integration(Kettle) 是基于java开发的一款软件,首先必须先安装JDK. 1.下载JDK安装包,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html 点击下载按钮进入下载界面  ,根据系统选择相应的版本下载. 2.下载后安装JDK,安装过程中可以自定义安装目录等信息,例如我们选择安装目录为 C:\Program Files\Java\jdk1.8.0_112. 3.安装完

上一篇:Pentaho Data Integration笔记 (一):安装 介绍 Spoon Intoduction site: http://wiki.pentaho.com/display/EAI/.01+Introduction+to+Spoon Spoon 是一个图形化用户界面,用户可以通过Spoon来设计transformations(数据转换文件)和jobs(数据转换任务),transformation与jobs可以在Pan和Kitchen这两个Kettle开发的工具执行并得出结果.

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下,发现很多逻辑基本都是大致相同的,于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho Kettle来测试,把一些配置过程和遇到的坑记录下来. Kettle可以在官网下载到,但是官网会让你注册才能下载而

一.概述 本案例是一个小型数据抽取分析类系统,通过抽取数据共享中心中生产管理系统.营销管理系统.计量自动化系统的配网台区(一个台区一个配变)的相关数据进行整合,完成有关台区的50多个字段按照日.月.多月等维度的集中计算展示,其中有17个指标字段需要系统进行自动计算,并于每天对不同部门关注的台区指标进行超标告警,除开这些基本要求之外,用户还要求支持历史报表的查询以及可以对部分计算参数进行配置修改,甚至可以修改计算参数后对历史报表产生影响. 经过数据量分析,配变基本数据方面,生产有300多万个功能位

台区负载情况计算(新增按值排序控件的使用): 台区负载情况 1.对变压器类型为干性的配变,“负载率超过80%(100%)持续时间”大于等于1小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 2.对变压器类型为油浸式的配变,“负载率超过80%(100%)持续时间”大于等于2小时的,计1次:一个自然月内累计有10天(含)以上的,为重载(过载). 台区负载情况的计算流程如下图所示: 首先针对每行数据(每15分钟的值)的负载率判断其过载情况,采用javascript代码脚本控件进行

在本系统中,针对计量系统的数据计算是最复杂的,其中需要采用多种转换以及公式计算,并且需要结合系统预置的一些计算参数以及每个台区的一些补充技术参数进行计算,计算的过程分为5大步骤(转换): 1. 根据系统时间获取到计量系统瞬时数据的表名(计量系统每天都会生成一个以日期命名的新表). 2. 从系统数据库中读入系统级的计算参数. 3. 计算每日指标. 4. 计算每日告警信息. 5. 计算每月指标(每月1号执行一次). 在实现上述5大步骤的同时,辅以清空重复数据以及自动重试机制,保证计算数据的正确性.