kettle组件-输入

1:文本文件输入
     包含六个页签:文件,内容,错误处理,过滤,字段,其他输出字段
     文件:用于选中文件或目录,可以使用正则表达式
     内容:文件类型---保持默认CSV即可
    分隔符----指文本文件每个字段间的分区标志,不可见分隔符的输入方法:$[01]
    文本限定符----指当文本字段中有分隔符作为字段内容一部分时就需要文本限定符
    逃逸符-----针对文本限定符而言,当文本字段中出现文本限定符了,需要使用逃逸符
    头部-------规定字段行
    过滤:将包含有输入字符串的一行去除预览,若过滤字符串与过滤器位置不匹配,将不能去除预览
    字段:当点击自动获取时,会将内容中指定的头部以字段形式展出。

2:生成记录

用于自定义字段,类型,(若为时间类型还可设置格式),(若为数字类型还可设置长度和精度),值。

限制----用于限制展示的行数,设置单行值后若限制为多行,则会重复输出。

若设置为空串,则值即使定义了也不会预览到。

若字段定义为date类型,则格式必须选择。

3:生成随机数

手动填写字段

手动选择类型:可以生成随机数字,随机整数,随机字符串,UUID,UUID4,还有两种不认识的类型。

4:自定义常量数据

自定义常量数据要与生成记录区分开,生成记录只有一个页签,字段的定义和值在同一个页签,而自定义常量有两个页签,分别是元数据和数据,元数据用于设置字段的信息,若字段定义为date类型,则格式必须选择,而数据用于为定义的字段填充数据,用法类似于数据库中的建表并插入数据,此用法相比于生成记录要灵活很多。在元数据中定义的字段,会在数据中自动生成供填充数据。

5:获取表名

用于获取所连接数据中的所有表名,若勾选了包含数据库名称,则或将连接IP地址下的所有数据库名也输出,也可勾选存过,视图,还有,可以包含模式(具体啥意思,待后续再研究)。

输出字段中包含:

名称字段---设置中勾选内容的具体名称;

类型字段----用于说明类型(是表,还是      数据库);

表示是否为系统级字段----一般是系统级别;

sql语句字段----用于展示建表语句,试了一下,建库语句为NULL

6:表输入

连接数据库,获取sql语句,从而展示对应查询中的数据。

允许简易转换:主要针对大字段的延迟转换(延迟转换性能更高,采用byte方式处理,否则就是string方式-----自动转换,提高性能)

替换sql语句中的变量:若sql查询语句中包含有变量,勾选此项将job工作中的变量替换为此变量,注意参数命名不要和系统参数命名冲突。

从步骤中插入数据是结合替换sql中的变量使用的,插入数据所代表的变量要和sql语句中的变量顺序一致。

执行每一行:对一列进行多条件判断,例如从步骤中插入数据中某一字段是sql查询中的变量,但是该列有多行数据,此时一个sql查询会逐一进行判断,并将判断的结果都返回。      类似于数据库中的in查询。

原文地址:https://www.cnblogs.com/zja001/p/10050096.html

时间: 2024-08-10 00:37:20

kettle组件-输入的相关文章

kettle组件-流程

1:空操作  该操作什么都不做,主要作用是,想测试的时候充当一个占位符.  例如:两个文本文件输入,同时连接到流查询步骤中,但是流查询仅仅能从一个流中查询信息,所以可以在同时连接流查询之前,           将两个文本文件输入连接到空操作,然后再让空操作去连接流查询.         空操作组件具有合并记录的作用. 2:过滤记录  该步骤通过条件和比较符来过滤记录.  发送ture数据给步骤:指定条件返回true的数据将发送到此步骤  发送false数据给步骤:指定条件返回false的数据将

利用kettle组件导入excel文件到数据库

1.     实现目标 把excel文件内容导入到目标表中:然后用java调用kettle的转换.excel文件的内容仅仅有两列,示比例如以下: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmV3ZWFzdHN1bg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" > 数据库表的结构例如以下: watermark/2/text/aHR0

kettle组件-查询

1:数据库查询     数据库连接:所要连接的数据库  模式名称:一般选取用户模式  表名:所要查询的表名  是否使用缓存:指定是否使用数据库缓存查询结果.  缓存大小:指定缓存的大小.  从表中加载所有数据:选中该项,缓存将不被利用. 查询所需的关键字:   表字段:表示所选中的表中的字段.   比较操作符:对选中字段进行判断.   字段1/2:流中的其他(表字段中可选的字段在该选项中不能选择)字段. 查询表返回的值:   查询表返回的字段,类型,可以通过新名称对返回字段该名称.  排序:指定

kettle组件-转换

1:列转行2:列转行3:去除重复记录      步骤名称:保持唯一性      增加计数器到输出?:当勾选了此项,并在计数器字段后给予了名称,则将会在该字段下显示去掉的重复行数.      字段名称:用来去重的字段,可选多个字段,表示多个字段都相同时表示重复.      该功能类似与sql中的distinct关键字. 4:增加序列      一个序列是在某个起始值和增量的基础之上,经常改变的整数值.可以使用数据库定义好的序列,也可以使用kettle决定的序列.      kettle序列在同一个

Component组件输入日志标题

Component    组件: Mesh:网格 Mesh Filter:网格过滤器 Text Mesh:文本网格 Mesh Renderer:网格渲染 Particles:粒子 Ellipsoid Particle Emitter:椭球粒子发射器 Mesh Particle Emitter:网格粒子发射器 Particle Animator:粒子动画 World Particle Collider:世界粒子对撞机 Particle Renderer:粒子渲染器 Trail Renderer:尾

kettle组件-分组

分组:  步骤名称:在单一转换中名称唯一.  分组字段:指定分组的字段.  聚合:指定需要聚合的字段,方法以及新字段结果的名称.  包含所有的行:如果选择该项,输出中就包含所有的行,不仅仅是聚合.  临时文件目录:临时文件存储的目录.  临时文件前缀:指定命名临时文件时的文件前缀.  添加行号,每一个分组重启:如果想添加行号,就选择该项.  字段名行号:指定行号将插入的字段名称.  名称:做聚合之后结果数据所对应的字段.  Subject:做聚合操作的字段.  类型:选择聚合函数.  值:定义常

ETL工具kettle的几个小组件(剪切字符串,增加常量,计算器)

接下来几天给大家介绍下几个常用的kettle组件1.剪切字符串所谓的剪切字符串,就类似于Oracle的substr函数,具体位置在某个转换的核心对象-转换中,如图使用方法为--双击打开组件,选择你要裁剪的流字段(必须),输出字段(选填),输入初始和结束位置,这样就好了:2.增加常量所谓的增加常量就是增加x个字段,而这每个字段的值都是常量(这里的x是个大于等于0的自然数),具体位置在某个转换的核心对象-转换中,如图使用方法是双击组件,按自己的需要填写参数,如图我们经常需要填写的有名称,类型,格式,

kettle将Excel数据导入oracle

导读 Excel数据导入Oracle数据库的方法: 1.使用PL SQL 工具附带的功能,效率比较低 可参考这篇文章的介绍:http://www.2cto.com/database/201212/176777.html 2.使用Kettle工具,免费,相比之下功能更丰富,可实现一定的业务逻辑,推荐使用 Kettle将Excel数据导入Oracle过程记录如下: 1.准备Excel文件: 注意:Excel文件要有字段名称说明:如这里的id,name,age 2.打开Kettle,文件-->新建--

KETTLE:mongdb与mysql互传数据

注:部分内容引用了 http://blog.sina.com.cn/s/blog_4ac9f56e0101g881.html 1.mongodb传数据到mysql 1)在kettle中,mongodb input组件. 2)编辑组件 输入连接信息 选择数据库 写查询语句 选择字段.上面的复选框选择是否输入json格式,这时不选. 点击get fileds,获取字段对应关系. $代表根目录 .代表子目录 []代表数组中的值,例如: {"data" :{ "museum"