【转载】工业大数据漫谈12:实时数据库与时序数据库

转自:http://blog.csdn.net/guanhui1997/article/details/72840769

工业大数据漫谈12:实时数据库与时序数据库

在工业大数据数据库存储领域,除了传统的关系型数据库和分布式数据库以外,还有一种类型的数据库是非常常用,而且是非常有必要的,就是实时数据库和时序数据库。

实时数据库诞生于美国,主要是因为现代工业制造流程及大规模工业自动化的发展,导致大量的测量数据需要集成和存储,而采用关系数据库难以满足速度和容量的要求,因此在80年代中期,开始诞生了适用于工业监控领域的实时数据库。

实时数据库其实并不单单只是一个数据库,而是一个系统,包括对各类工业接口的数据采集,海量监测数据的压缩、存储及检索,基于监测数据的反馈及控制功能等。

实时数据库的出现,主要是为了解决当时关系型数据库不太擅长的领域,包括:

1、海量数据的实时读写操作

工业监控数据要求采集速度和响应速度均是毫秒级的,一个大型企业几万甚至几十万监测点都是常有的事情,这么大容量的高频数据,如果用关系数据库进行存储,由于关系库本身设计的理念,导致它很难进行每秒几十万的数据的读写操作,而实时数据库通过转为快速读写设计的时标型数据结构、高频缓存等技术,可以实现海量数据的实时读写操作。

2、大容量数据的存储

由于数据采集是海量的监控数据,那么如果用传统数据库进行存储,将会占用大量的存储空间,如果我们用关系数据库保存10000个监测点,每个监测点每秒钟采集一次双精度数的数据,即使不考虑索引等因素,也需要5-6T的存储空间,这里还不包括存储跟监测点相关的时间等因素,如果都包括,再建立索引,则需要15T-20T的存储空间。实时数据库采用了专门的压缩算法,包括哈佛曼算法、旋转门算法以及一些二次压缩算法,压缩比普遍能够达到30:1左右,再加上对于时间及索引的特殊处理,存储量能够缩小到关系库的1/40,因此,上面的例子只需要500G的空间就能够进行有效存储了。

3、集成了工业接口的数据采集

由于历史和垄断的原因,目前工业通讯、传输的协议种类繁多,实时库一般都集成了大量的工业协议接口,可以对各种类型的工业协议进行解析和传输。同时,随着实时数据库的发展,接口软件部分也慢慢被独立出来,即可以与实时数据库核心集中部署在1台计算机上,也可以单独部署在接口机上,从而提供了更好的可扩展性和稳定性。

4、集成控制功能,可实现实时控制

实时数据库一般都提供下行控制接口,并且是高速写出。写的效率严重依赖于接口通讯效率和执行机构。因此,实时数据库大都是从工控软件厂商发展而来的,他们就有丰富的工业控制写入的经验。即便如此,毕竟工业系统对时序有严格的要求,而数据库从读到写,会出现时滞,因此,实时数据库一般不适宜对快速开关量的控制。

在云计算的时代,实时数据库的一些缺点就慢慢的显露出来了。

首先,由于实时数据库是基于时标进行处理的,就导致它只能简单的使用时间段进行查询和检索,当然,各大厂商也开发了许多工具,但无论如何检索的丰富性不能和关系库比拟。

其次,由于实时库都是出售给大型工业企业的,因此价格昂贵,在物联网时代,对于中小工业企业来说,是个不小的成本。

再次,传统实时库在部署时不够方便灵活,传输也更多的考虑工业网络,甚少考虑互联网的情况,不太适应当下云计算环境的部署。

这个时候,新兴的时序数据库就出现了。时序数据库在2017年火了起来,出现了大量的开源和商业产品,时序数据库就是存放时序数据的数据库,并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。时序数据库其实主要是实时数据库的数据存储部分,但是,由于它采用了新的技术,极大地扩展了数据的容量,除了数据点和时间戳之外,还提供标签和内容等对数据的描述,并且提供各种聚合查询,弥补了实时库的缺陷。

但是,时序数据库不提供工业接口、下行控制等功能,这些都需要开发人员自行开发,或者将原有的接口与时序库对接。

当然,不管是实时数据库还是时序数据库,都在飞速发展中,双方一定会互相借鉴,互相学习,会提供更好、更多的产品供工业大数据使用。

时间: 2024-10-06 22:48:08

【转载】工业大数据漫谈12:实时数据库与时序数据库的相关文章

工业大数据应用技术国家工程实验室

一.简介工业大数据应用技术国家工程实验室于2017年2月经×××批复立项建设,由航天云网北京航天数据股份有限公司牵头,联合中国机械工业集团公司.哈尔滨电气集团公司.阿里云计算有限公司.中国沈阳自动化研究所.北京工业大学.中国质量认证中心.北京金隅股份有限公司.北京工业大学共同组建. 实验室以推动工业大数据产业发展,攻克重大技术难关为目标,是全国唯一的应用技术研发创新与产业推动的支撑机构.实验室的建成,将有利于强化产业技术原始创新能力,加强基础和产业研究之间的有机衔接:整合产学研资源,培养工业互联

工业大数据是什么?为什么?怎么办?

本文为北京大学杨学山教授在工业大数据产业发展高峰论坛上的精彩报告内容,非常系统深刻,值得我们认真学习.他的精彩发言为发展工业大数据以及其产业提供了很好的思路和方法. 前沿 生动 专业 深度 趣味什么是工业大数据? ? 工业大数据,很难从内涵角度来作出一个定义,因为它涉及到很多各种各样的数据.但从外延角度来看,比较容易. ? 大体上是3+3,第一个"3"是指3个层面--企业,企业上面的供应链.产业链和生态链,以及在这上面的行业管理和宏观经济.第二个"3"是指每个企业都

大数据面面观 | 请回答,工业大数据

不记得从什么时候开始,像无人驾驶.城市大脑.智能手机.智能马桶盖等名词慢慢走进了我们的生活,而现在它们已经塞满了我们生活的方方面面,仿佛忽然之间,Time Changed,我们已经置身于一个崭新的时代--智能时代..制造业作为整个社会物质生产的中流砥柱,也必然会朝着「智能制造」的方向发展,而如何利用工业信息化时代期间累积和生产的工业数据,来完成从「传统制造」到「智能制造」的过度升级,正是当今工业领域讨论的重点..「工业大数据」的概念,由美国通用电气在 2012 年首次提出,主要关注生产制造过程中

工业大数据为何落地难

眼前的困难和问题,很可能是过去没有准备的结果:而现在的失败,往往是过去草率行事的结果.同样,工业大数据浪潮来了,却会发现积累了多年的数据没法用.我总结了一下,大体有三种原因: 1.数据对应不上 围绕同一个对象或过程的数据都有记录,但串不起来.比如,一个产品是某设备生产的.产品信息却无法与设备生产的时间对上. 2.数据结构杂乱 围绕特定事件或产品的信息很多,但数据没有被结构化地组织起来,想找的时候却找不到. 3.错用分析方法 许多传统分析方法其实非常有效,如方差分析.回归分析.决策树.很多人知道这

一文读懂工业大数据 (转)

无论是欧美老牌国家制造业的重振,还是中国制造业的转型提升,工业大数据都将发挥不可替代的作用. 当前,全球主要国家掀起了新一轮以“信息技术与制造业融合”为共同特征的工业革命,加速发展新一代信息技术,并推动其与全球工业系统的深入融合,以期抢占新一轮产业竞争的制高点.无论是欧美老牌国家制造业的重振,还是中国制造业的转型提升,工业大数据都将发挥不可替代的作用. 何为工业大数据 工业大数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售.订单.计划.研发.设计.工艺.制造.采购.供应.库存.发货和

oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库

"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库 - HappyBinhaer的专栏 - 博客频道 - CSDN.NET HappyBinhaer的专栏 目录视图 摘要视图 订阅 [活动]2017 CSDN博客专栏评选 &nbsp [5月书讯

大数据量下的SQL Server数据库自身优化 (转载)

1.1:增加次数据文件 从SQL SERVER 2005开始,数据库不默认生成NDF数据文件,一般情况下有一个主数据文件(MDF)就够了,但是有些大型的数据库,由于信息很多,而且查询频繁,所以为了提高查询速度,可以把一些表或者一些表中的部分记录分开存储在不同的数据文件里 由于CPU和内存的速度远大于硬盘的读写速度,所以可以把不同的数据文件放在不同的物理硬盘里,这样执行查询的时候,就可以让多个硬盘同时进行查询,以充分利用CPU和内存的性能,提高查询速度. 在这里详细介绍一下其写入的原理,数据文件(

大数据时代:基于微软案例数据库数据挖掘知识点总结(结果预测篇)

转载:http://www.cnblogs.com/zhijianliutang/p/4016309.html 前言 本篇文章主要是继续前几篇Microsoft决策树分析算法.Microsoft聚类分析算法.Microsoft Naive Bayes 算法,算法介绍后,经过这几种算法综合挖掘和分析之后,对一份摆在公司面前的人员信息列表进行推测,挖掘出这些人员信息中可能购买自行车的群体,把他们交个营销部,剩下的事就是他们无情的对这群团体骚扰.推荐.营销....结果你懂的! 本篇也是数据挖掘各层次间

大数据量高并发访问的数据库优化方法

一.数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程. 所以在考虑整个系统的流程的时候,我们必须