ETL工具之kittle使用案例整理

主花了一下午时间,收集全网,学习了下kittle,觉得该大v写的不错,特意整理给大家!学会这几个案例kittle基本就没问题了。

1.kettle案例一抽取gz格式文本内容保存到mongodb
  https://blog.csdn.net/zzq900503/article/details/78658649

2.kettle案例二抽取mysql数据保存到mongodb
 https://blog.csdn.net/zzq900503/article/details/78678030

3.kettle案例三抽取json数据保存到mongodb
https://blog.csdn.net/zzq900503/article/details/78745397

4.kettle案例四使用java脚本进行数据处理
https://blog.csdn.net/zzq900503/article/details/78745359

5.kettle案例五使用js脚本进行json数据处理新增行
https://blog.csdn.net/zzq900503/article/details/78952318

6.kettle案例六数据表关联--排序记录-记录集连接-过滤记录
https://blog.csdn.net/zzq900503/article/details/78962029

7.kettle案例七连接hive--抽取mongodb的数据保存到hive
https://blog.csdn.net/zzq900503/article/details/79077718

8.kettle案例八连接hive--抽取hive的数据保存excel
https://blog.csdn.net/zzq900503/article/details/79088912

9.kettle案例九-----linux使用kettle
https://blog.csdn.net/zzq900503/article/details/79110810

出处-直到世界的尽头-张小凡-http://my.525.life
————————————————
版权声明:本文为CSDN博主「梦想编织着青春```」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/a13072569192/article/details/85328682

原文地址:https://www.cnblogs.com/gzhbk/p/11804257.html

时间: 2024-10-09 02:16:13

ETL工具之kittle使用案例整理的相关文章

客户视角:Oracle ETL工具ODI

客户视角:Oracle ETL工具ODI 数据集成已成为企业在追求市场份额中的关键技术组件,与依靠手工编码的方式不同,越来越多的企业选择完整的数据集成解决方案来支持其IT战略,从大数据分析到云平台的集成.Dao Research最近进行的一项研究,比较全球领先的几个数据集成解决方案之间的差异,及这些产品技术对现实企业的影响.他们采访了IBM,Informatica的,和甲骨文的客户.此外,他们也阅读了来自这三个供应商的公开可用的解决方案文档.该研究发现,甲骨文在数据集成领域具有某些方面的领先地位

PLSQL_性能优化效能跟踪工具DBMS_PROFILER分析(案例)

一.摘要 Oracle PLSQL性能诊断是经常会遇到问题,所以Oracle提供了比较多的程式诊断工具,其中包括了dbms_profiler包 DBMS_PROFILER中会用到一些基本构建如下 在调用程式前DBMS_PROFILER.START_PROFILER,启动对该程式监控 在调用程式后DBMS_PROFILER.STOP_PROFILER,结束对程式监控 在监控过程中,系统会将资料存放至三个表中PLSQL_PROFILER_RUNS -> UNITS -> DATA 通过profil

Sqool与kettle开源的ETL工具

数据抽取的开源工具 一个是RDBMS 一个是基于分布式的数据ETL工具 ==================== 原则: 主要是映射规则,基础字典数据,详细数据 注意与ESB的编程模型的差异(编程思想上)

etl工具,kettle实现循环

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. 业务模型: 在关系型数据库中有张很大的表,被设计成奇偶库存储,每个库100张一模一样的表,每张表存储1000W,字段切换到下一个表.现需要同步这个数据到hive中(hdfs),循环抽取这些数据.如果是抽取增量的带上增量字段(每天增量数据存储在哪个表,奇数库还是偶数库是不知道的). a sqoop直接从mysql到hive,这样有些特殊字符会导致sqoop异常终

etl学习系列1——etl工具安装

ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取.质量检测.数据清洗.数据转换.数据过滤等方面有着比较稳定的表现,

ETL工具框架开源软件

http://www.oschina.net/project/tag/453/etl 开源ETL工具 Kettle Talend KETL CloverETL Apatar Scriptella ETL Octopus ETL调度技术平台 TASKCTL ETL工具 Talend Open Studio ETL工具 Palo ETL Server ETL工具 JMyETL CloverETL Designer xETL ETL 和特性抽取工具 Crunch xETL编译器 openDigger

Kettle定时执行(ETL工具)【转】

1,Kettle跨平台使用.    例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:    1)进入到Kettle部署的路径    2)执行 chmod *.sh,将所有shell文件添加可执行权限    3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log    其中.-file说明你要运行的transfor

可用于Hadoop下的ETL工具——Kettle

看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——Kettle.    Kettle是pentaho公司开源的一款ETL工具,跟hadoop一样,也是java实现,其目的就是做数据整合中时数据的抽取(Extract).转换(Transformat).加载(Load)工作.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制.Transformation工作原理上采用并发流式处理

ETL工具总结

ETL的考虑 做 数据仓库系统,ETL是关键的一环.说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具.回忆一下工作这么些年来,处理数据迁移.转换的工作倒 还真的不少.但是那些工作基本上是一次性工作或者很小数据量,使用access.DTS或是自己编个小程序搞定.可是在数据仓库系统中,ETL上升到了一 定的理论高度,和原来小打小闹的工具使用不同了.究竟什么不同,从名字上就可以看到,人家已经将倒数据的过程分成3个步骤,E.T.L分别代表抽取.转换 和装载. 其 实ETL过程就是数据流动的过程