分享一个我们做的实时数据仓库的例子。
客户是地市级烟草公司,需要实时的卷烟销售数据分析,每天的数据量约10万条,集中在4个小时内发生。
我们的处理办法是:
1、维表信息每晚处理好(客户在当天定烟的过程中,是不会去维护基础档案的内容的);
2、历史事实表数据也是每晚处理好;
3、当天的定烟数据,做一个查询业务系统数据的视图,只查询当天的数据(查询一次的时间约2-3秒);
4、将历史数据和当天数据的视图再合成一个视图,用于展现数据;
5、某些需要计算的内容(例如销售毛利)在前端工具中实现。
实时数据仓库
时间: 2024-10-10 09:44:50