kettle过滤记录运用

在群里经常会遇到很多人问问题,大部分人的问题都大同小异:在这里把自己和群里同学们遇到过,自己手痒去验证过的问题做一个集中记录,希望可帮助一些PDI入门的同学们.也可以见证一下前人踩过的无数坑~ 另外,特别推荐一本kettle入门值得看的书<解决方案:使用PDI构建开源ETL解决方案>,有条件的当当可买,没条件的电子书很容易获取,中文翻译版的易懂,有别的提高的也可以直接去看英文版.就这本: 安装相关 1.可视化界面spoon.bat打不开,JVM提示不能正常启动 1)检查一下环境变量的配置 2)

下面是一个用Kettle实现数据过滤.生成随机数.改变开始复制数量的连贯示意图. 首先,我们将控件一一建立,通过hop建立连接 下面对每一个控件进行设置 1.生成随机数控件(随机取一个数字与字符串) 2.过滤控件 3.文本文件输出 4.改变开始复制的数量 这个功能实际的含义是:设置多少份的拷贝,开多少线程 例如:开20个线程,拷贝20份,那么单击控件“生成随机数”-------“改变开始复制的数量” 出现如下窗口 点击“确定”后,截图如下: 此时,点击下图按钮,---“快速启动”,即可预览 预览

转载: http://blog.itpub.net/post/37422/464323 该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配.比较.合并. 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源.新数据来源的步骤 标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种. 1. “identical” – 旧数据和新数据一样 2. “changed” – 数据发生了变化; 3. “new” –

环境描述: 现在一个项目有很多个作业,需要知道每次跑批后哪些ktr跑成功,哪些失败了 问题解决: 下面是一个具体的操作流程 首先建立数据库表 CREATE TABLE test_1(id INT,NAME VARCHAR(10)); INSERT INTO test_1 VALUES(1,'hsj'); CREATE TABLE test_2(id INT PRIMARY KEY NOT NULL,NAME VARCHAR(10)); 数据库表建立完毕之后,新建ktr,ktr示意图如下: 在上图

该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配.比较.合并. 需要设置的参数: 旧数据来源:旧数据来源的步骤 新数据来源.新数据来源的步骤 标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种. 1. "identical" – 旧数据和新数据一样 2. "changed" – 数据发生了变化; 3. "new" – 新数据中有而旧数据中没有的记录 4.

转载:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,

转载:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply2.html 1.应用场景 这里简单概括一下几种具体的应用场景,按网络环境划分主要包括: 表视图模式:这种情况我们经常遇到,就是在同一网络环境下,我们对各种数据源的表数据进行抽取.过滤.清洗等,例如历史数据同步.异构系统数据交互.数据对称发布或备份等都归属于这个模式:传统的实现方式一般都要进行研发(一小部分例如两个相同表结构的表之间的数据同步,如果sqlserv

一直用SSIS做ETL,越来越感觉这玩意不是亲生的.因此萌生换ETL工具的想法,不过Kettle社区版没什么调度系统,貌似错误处理也不是很方便,且先了解吧. 本文简略的记录了整个软件的使用流程. 开始 Kettle 的几个子程序的功能和启动方式 Spoon.bat: 图形界面方式启动作业和转换设计器. Pan.bat: 命令行方式执行转换. Kitchen.bat: 命令行方式执行作业. Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行. Encr.bat: 密码加

原文地址:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html 本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析系列二 [应用场景和实战DEMO下载] 三.ETL利器Kettle实战应用解析系列三 [ETL后台进程执行配置方式] 本文主要阅读目录如下: 1.Kettle概念 2.下载和部署 3.Kettle环境配置 4.K