kettle管理工具
- 专门为kettle这款优秀的ETL工具开发的web端管理工具。
项目简介
- kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的，操作麻烦，总之还是很难用啦，还有就是开发web端管理工具，kettle自带了一个web端管理工具，界面极其简陋不说，还很难用，基本无法投入生产环境使用，其他没留意到还有没有较好对众多job进行管理的工具。
- 基于以上情况，和我近两年的kettle定制开发与使用经验。我设计并开发了这款kettle web端管理工具。
项目功能
- job运行参数设置，可以在页面上设置作业运行参数，每次运行作业时会用设置的参数覆盖默认值，这个很多人用不上。
- 定时设置，操作界面与kettle中的开始控件界面一致，这个可能是最优用的功能之一。
- 作业的运行与停止，核心功能就不说了。
- 实时查看作业运行日志，最大显示行数可以配置，这个功能看起来不起眼，实际应该是很有用的。
- 后台有一个作业专门完成将运行的作业日志写入日志文件，文件按天分文件夹存放，日志文件大小可以配置，若觉得占用空间，可以设计一个作业进行定时清理以前的日志文件，后续会提供该作业。也可以配置为不写日志文件。
- 作业的运行状态会定时反映到管理界面，我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。
- 本系统是基于数据库资源库设计的，暂时不考虑支持文件资源库。
- 本系统还附带了一个kettle插件，类似kettle已有的自定义类控件（可以在转换中写java代码）。该控件的设计时为了避免每一个需求都去开发一个kettle控件，从后台元数据管理到操作界面设计。该控件采用灵活的JSON传递参数，然后继承一个基类就可以完成一个任务了，就是说基于该控件，只需要开发一个具体的操作类就可以了。有兴趣可以看一下。
界面截图
使用说明
- 从附录地址下载打包好的软件。
- 第一次使用，在oracle中心间用户km，然后将doc\sql中的dmp导入km用户中，再执行doc\sql\myNote.sql中的脚本，修改kettle资源库表结构。
- 根据实际情况设置环境变量：org.osjava.sj.root=E:\kettle\simple-jndi。这个变量指定jndi文件位置，然后将文件：doc\杂物\jdbc.properties 拷贝到该目录，根据实际情况修改内容。
- 将日志和运行状态修改的作业：doc\杂物\作业日志记录.kjb 导入你的资源库。
- 自行修改日志配置文件：log4j.xml，可以调整日志目录等。
- default中是配置文件，需根据实际情况修改。
- 可以修改start.bat文件内容以修改使用的端口。
- 双击运行start.bat脚本启动项目。
- 运行正常后就可以访问了，默认地址是：http://127.0.0.1:85 ，若运行时修改了端口，这里对应修改即可。
开发说明
- 一般都不需要自己开发，直接使用就行，若有bug或新功能需求，可以发邮件给我。
- 本项目基于开源项目EOVA开发：http://git.oschina.net/eova/eova。
- 若想进一步扩展功能，建议先搭建kettle开发环境，可以参考我的博文：http://www.cnblogs.com/majinju/p/4455107.html
- 我的博客中还有多篇文章介绍kettle的源码等，可以作为参考。
附录
- 项目地址：https://github.com/ma459006574/kettle-manager
- 我的邮箱：[email protected]。
- 已经打包好的软件下载
时间： 2024-08-22 14:49:50