kettle的基本使用1

1、Kettle 的几个子程序的功能和启动方式

—-windows环境

Spoon.bat: 图形界面方式启动作业和转换设计器。(最常用)

Pan.bat: 命令行方式执行转换。

Kitchen.bat: 命令行方式执行作业。

Carte.bat: 启动web服务,用于 Kettle 的远程运行或

集群运行。

Encr.bat: 密码加密

—-Linux环境

Spoon.sh: 图形界面方式启动作业和转换设计器。(最常用)

2、 Spoon图形界面方式设计转换和作业

Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。

转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)。

作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。

3、保存作业

用户通过 Spoon 创建的转换、作业、数据库连接等可以保存在资源库XML 文件中。

—-转换文件以 ktr 为扩展名,作业文件以 kjb 为扩展名

—-资源库可以是各种常见的数据库。可以在 Spoon 中自动创建资源库,资源库默认用户名和密码是admin/admin。

建立资源库

Tool(工具)—-> 资源库—-> 连接资源库

点击图片右上方的含有“+”的操作,即增加一个资源库。

时间: 2024-10-12 07:48:20

kettle的基本使用1的相关文章

【Kettle】4、SQL SERVER到SQL SERVER数据转换抽取实例

1.系统版本信息 System:Windows旗舰版 Service Pack1 Kettle版本:6.1.0.1-196 JDK版本:1.8.0_72 2.连接数据库 本次实例连接数据库时使用全局变量. 2.1 创建新转换:spoon启动后,点击Ctrl+N创建新转换 2.2 在新转换界面中,右键点击DB连接,系统会弹出[数据库连接]界面. windows系统环境下,可用${}获取变量的内容. 说明: 连接名称:配置数据源使用名称.(必填) 主机名称:数据库主机IP地址,此处演示使用本地IP(

在Linux下部署kettle的Job

关于如何用kettle创建job以及如何部署kettle到linux上,我就不细说了,大家应该都会,下面重点说一下,如何让job执行起来先将创建好的脚本上传到kettle指定目录下面,创建调用job执行的脚本文件, export JAVA_HOME=/usr/java/jre1.6.0_23 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar /opt

Kettle变量和自定义java代码的实例应用

1  kettle.properties参数配置数据源连接和FTP连接 由于测试环境和生产环境中数据库连接FTP等配置会在部署过程中变更,所以预先定义成配置项,在配置文件中修改,这样测试和发布将会变得简单,下面以数据库为例说明这类配置的使用. (1)      首先要找到配置文件,不同的操作系统路径也不一样,本人用win7进行开发,配置文件的路径为"C:\Users\chenpeng\.kettle\kettle.properties",如下: (2)      配置文件中的具体配置如

kettle 安装mysql 驱动

错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.org.gjt.mm

ETL工具 — Data Integration (Kettle) 下载安装

一.Data Integration(Kettle) 是基于java开发的一款软件,首先必须先安装JDK. 1.下载JDK安装包,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html 点击下载按钮进入下载界面  ,根据系统选择相应的版本下载. 2.下载后安装JDK,安装过程中可以自定义安装目录等信息,例如我们选择安装目录为 C:\Program Files\Java\jdk1.8.0_112. 3.安装完

Kettle连接Oracle 12c

安装Oracle我用的是Win10 64位,官网下载64位 Oracle 12c,两个文件.解压第一个文件之后安装,但是安装到一半错误,提示缺失文件.后来发现原来两个文件要单独解压,解压后根据目录合并在一起.再次安装,安装到88%卡住不动了.我以为安装又失败了,就关了,但是发现可以用,就这么用吧. 创建用户Oracle数据库分为CDB和PDB,他们之间的关系,想了解可以查相关资料,不在此详述.简单来说CDB是一个数据库容器,PDB是可插拔数据库.默认登陆为CDB,只能创建COMMON用户.COM

KETTLE常见问题记录第一篇【安装,资源库,数据库】

在群里经常会遇到很多人问问题,大部分人的问题都大同小异:在这里把自己和群里同学们遇到过,自己手痒去验证过的问题做一个集中记录,希望可帮助一些PDI入门的同学们.也可以见证一下前人踩过的无数坑~ 另外,特别推荐一本kettle入门值得看的书<解决方案:使用PDI构建开源ETL解决方案>,有条件的当当可买,没条件的电子书很容易获取,中文翻译版的易懂,有别的提高的也可以直接去看英文版.就这本: 安装相关 1.可视化界面spoon.bat打不开,JVM提示不能正常启动 1)检查一下环境变量的配置 2)

PDI 学习2:KETTLE安装,环境变量配置,开发准备

在这里把环境变量的配置具体拿出来,有问题的同学自己比对一下: 1.安装JDK,KETTLE 1) KETTLE拷贝程序包,绿色安装: 官方下载:http://community.pentaho.com/projects/data-integration/ 2) JDK安装: 2.配置系统环境变量 ( 已有的变量,在后面新增值:没有的变量新增变量和值) 1) JDK ( 参考如下,按实际情况配置) 关注JAVA_HOME  和 PATH 变量 值 JAVA_HOME D:\Program File

ETL工具—Kettle数据的导入导出—数据库到数据库

ETL简介: ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程) 数据库到数据库 下面讲解:kettle工具实现方法 案例目的:从用户scott下将emp表导入到用户testuser下. 准备工作:首先在testuser账户下,新建一个与scott账户中emp表结构相同的表. 操作步骤: 1.检测一下testuser账户下是否已经建立了emp的空表. 图1:检测用户testuser中的emp表 2.新建一个"转换",拖入"表输入&quo

kettle入门(七) 之kettle增量方案(一)全量比对取增量-依据唯一标示

引: ods有个project表来自于上游系统,数据量不大 十几万,下游系统须要此数据,而且须要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示,即数据若是插入 有插入时间和插入标示 若是改动 有改动时间和改动标示 若是删除需逻辑删除.有删除标示且有删除时间 解决: kettle的转换ktr里有一个图元叫做合并记录.能够把两个表输入分为源和目的依据唯一标示 进行全量比对.由此.我们得到增量的数据流,再写入到RDBMS里,即能够实现该需求.实现功能的ktr例如以下图: 1 输入源 合