我使用数据库已经有二十多年了,有dBase、FoxBase、MsSql、MySql、Oracle等等,开发了各种应用程序,但是当数据量增大的烦恼一直存在着,每年都要进行数据库清理工作。
在开发煤矿安全监控系统时,传感器数量多的时候,采集的数据量非常巨大,直接就影响到系统的运行。从那时开始考虑另外的解决方案,经过几年的研究测试发现,数据库的数据量增大的原因主要是历史数据,那么把历史数据从数据库中分离出来,问题就解决了。
于是设计开发了一种数据存储框架及分布式采集,以适应实时监控中采集次数多、采集数量大的的需求,将历史数据从数据库中分离出来的方法,自己开发相应的程序对历史数据进行查询检索。开发系统服务,通过TCP进行相互通讯。
经过多年的努力,现在已经应用于10个热力公司热网监控系统中,在实际使用中做到了在海量数据时不影响软件运行、查询统计、维护量少,彻底除去了数据库人员进行历史数据移库、清库的烦恼。
时间: 2024-10-17 07:14:10