ETL调度开发（1）——编写说明

前言：

在数据库运行维护过程中经常会需要在系统之间进行文件传输，对数据进行抽取、转换、整合等操作。并且在数据整合之后进行统计调度，这里将会对本人开发的一个ETL调度进行详细的说明。

需求概述：

调度分为如下方式：

ü  一个是SHELL编写的ETL调度，支持小时、日、周、月文件的调度。

ü  一个是流程调度，主要是根据配置表调用指定过程，并发执行。

进程描述：

文件调度进程每分钟起一次，文件调度后的后续处理进程也是每分钟起一次，自动预警进程每5分钟检查一次。

预警描述：

每日文件在指定时间内未到达时将短信提醒相关人员（ETL调度程序文件未到达提醒），截止目前遇到的几种异常情况已经加入到自动处理程序

另外：文件流程，或者统计流程连续出错指定次数之后则停止统计，同时通过短信预警。

后续开始设计对应的配置表以及描述各个配置表之间的关系和配置方法。

ETL调度开发（1）——编写说明