系统就是一个工具,类似于一个机器,可以分成这几个类别:
1.操作性的工具---------------------仅仅是给用户使用,对数据进行录入操作 OLTP
2.处理性的工具---------------------对数据按照业务模型进行计算,之后出一个结果给用户 OLTP
3.分析性的工具----------------------对数据进行多维度分析 OLAP
但是有些系统,采集数据就很麻烦,比如说,一个成本核算系统,基础都是都来自其他的系统,因此客户就需要在其他的系统里导出需要的数据(分库分表不共享),这时候就有大量的工作,比如导出文件,对文件人工处理之后再导入系统,进行核算。
就是一个数据导入的过程:ETL,当然可以使用专业的工具,但是目前就像oracle的版本一样,虽然功能很强大,但是项目使用的仅仅是一些功能,因为场景的需求就是这样,没必要一些高级特性,而一个专业的ETL工具,或许比客户的系统还贵,可能会用吗????,所以就得用人来做,总的给人的工作干吧!!!这也是现在的显示需求。
==========================
sql-load:专门的数据导入处理方案
写一个配置文件以及你的数据文件
其实,现在的ETL工具的思路和sql-load有点类似,比如核心的:缓存机制,批处理机制,异常处理机制,数据补偿机制。
时间: 2024-10-08 03:27:33