kettle的资源库

在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库、数据库资源库。

一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在。

一、数据库资源库

1.1在mysql中创建一个数据库作为数据库资源库

1.2创建数据库资源库工具--》资源库--》连接资源库--》点击加号--》选择创建数据库资源库

因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下。

创建数据库连接并且通过测试

选择创建或更新

1.3创建完成后,验证数据库中是否创建了很多的表

看到这些表,就表示创建完成了一个数据库资源库了。

1.4创建一个转换,并且创建一个DB连接,验证这个不共享的DB连接能不能在资源库中共享

经过测试是可以的。

二、文件资源库

工具--》资源库--》断开资源库

使用上面的步骤来退出数据库资源库

2.1创建文件资源库

和上面创建数据库资源库的方式一样,但是选择的是创建文件资源库。

2.2在文件资源库下,创建一个DB连接,验证是否能在文件资源库内共享

答案是可以的

三、需求:将mysql中的表导出成txt文件

在ldp_huyu数据库中有如下的一张person表

3.1建立如下图的转换

其中表输入的配置:

其中文本文件输出的配置:

3.2运行这个转换

最后生成文件

 四、数据库资源库和文件资源库的比较

使用数据库来管理,更容易跨平台和共享,但是在版本控制方面不如文件资源库好,并且数据库需要走网络,网络连接的异常也会导致job失败

使用文件资源库比较麻烦的是跨平台,一般和svn等版本控制的工具结合使用。

时间: 2024-11-11 20:51:58

kettle的资源库的相关文章

kettle创建资源库

手动修改一下这个表 R_VERSION INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES (1,5,0,'2014/12/22 17:12:16.405',1) 我再添加kettle资源库,每次都sql语句错误.吧'N'改成1就行了.

KETTLE 配置资源库

KETTLE 是一款开源的ETL工具,通过图形界面进行设计,可以对数据进行转换.设计好的文件分为两类,一类是trans,一类是job,这些文件可以存储到文件系统中.   也可以存储到数据库中.   如果存储到数据库,那么可以创建配置资源库.   配置步骤   打开设计工具spoon.bat       点击加号   点击创建或更新     这里需要调整下sql语句   INSERT INTO R_USER(ID_USER, LOGIN, PASSWORD, NAME, DESCRIPTION,

kettle新建资源库(4)

工具中找资源库或者CTRL+R 点+号 再点新建 把sql中的’N’改成FALSE或’0’,’Y’改成TRUE或’1’.或者把sql直接考出来到mysql命令行执行. 创建资源库成功.

kettle建立资源库

1.tools(工具)菜单

kettle系列-3.kettle读取数据库资源库很慢的优化

环境:windows7,jvm内存设置14G,kettle5.1后来升级到5.4,oracle作为资源库. 问题背景:我们通过web页面管理kettle的job运行,这只是一个管理界面,即使web项目停掉也不会影响job的运行情况,实际运行job的是后台程序,随着job数量的增多,达到三四百个时,job的运行速度也达到了难以接受的程度. 方案1: 针对出现的问题,经测试发现,job一经运行就不会再重新从资源库读取了(针对定时运行的job),job中的转换则每次都会重新从资源库中读取,我找到了or

kettle资源库配置

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re

kettle优化

http://blog.csdn.net/cissyring/archive/2008/05/29/2494130.aspx 1. Join 我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 '加' 起来, 应该怎么样做. 这是新手最容易犯错的一个地方,A数据流跟B数据流能够Join,肯定是它们包含join key ,join key 可以是

使用Linux调用资源库中的Job报错-ERROR: No repository provided, can't load job.

使用kettle调用资源库中的作业或者是转换,需要注意一下两个问题: 问题一:(-rep后不需要IP)标准shell代码如下 #!/bin/bash export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64/jre export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools

kettle的系列教程

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE