关注工业自动化的全过程数据存储

工业自动化的过程数据存储,随着越来越多现场传感器的大规模数据采集技术的发展,已经成为工业自动化系统的瓶颈。

以往分钟级的存储技术,已经越来越不能满足工业自动化系统对全过程的数据分析要求,需求变更为全过程数据的全息存储。

工业自动化的监控系统在数据存储技术上也逐步发生变革,以往采用关系数据库的二维表存储过程数据的技术,随着数据量的不断增大,已经无法满足海量数据的存储要求,而且,会占用大量的磁盘空间(虽然很便宜,但是维护不易),随之而来的是查询问题,查询速度已经无法满足常规监控系统的要求(秒级),查询缓慢给后续的数据分析造成障碍,或者根本无法完成分析。投资了大量现场传感器,因为上位监控系统的软件无法支撑而造成浪费。

全过程数据存储技术,在需求上表现为如下几点:

1、全息存储:理论上应该存储传感器的每次采集数据,或者存储上位通信系统感知到的全部数据,通过不断提高上位通信系统的采样精度,提高上位系统和下位系统的匹配度;

2、断面存储:用于分析事故或历史上某一时刻的系统状态,往往在追溯工业自动化系统故障时,需要同一时刻的采样点数据,或一段时间内的相关点的采样数据,以便确定问题的原因;

3、熟数据:由采样数据经过处理过的数据,包括采样值与工程值转换等,以及由人为设置的故障阀值触发的告警数据等;

4、人工数据:指认为操作数据,通常由操作日志构成,包含操作对象、操作内容等信息;

上述全过程数据的存储,已经不单是工业自动化的历史存储系统范畴,而是上位软件系统的综合性模块,涉及通信采集系统、数据处理系统、历史存储系统、日志系统等,其实现涉及诸多IT新技术的更新,包括文件系统管理、网络技术、大数据技术、高性能存储和检索设计等。

时间: 2024-07-31 14:25:31

关注工业自动化的全过程数据存储的相关文章

Hadoop数据存储—Hbase

大家都知道Hadoop是一个数据库,其实说的的就是Hbase.它和我们平常理解的关系型数据库有什么区别呢? 1.它是NoSQL的,它没有SQL的接口,有自己的一套API. 2.关系型数据库可以做汇总,可以进行常规的分析,但是Hbase不可以,它不能做汇总.那么Hbase操作不方便,不能做汇总,不能做分析,有什么作用呢?它的随机读写效率很高,可以存储海量数据,基于某个网点,某个城市,某个机器随机去查询速度快.或者去存储基于时间序列的数据,比如微信.微博.日志的数据,效率很高. 3.它的存储是列式的

图数据存储初见

在<图数据挖掘——基本概念>一文中详细的讲了图数据的基本概念,并在<图数据挖掘之图信息获取及存储>一文中描述了图的信息获取,但并没有对图数据的存储进行详细的介绍,该篇将就图数据存储给大家介绍一下,如有不对之处希望多多指出! 我们都知道图数据主要的信息是节点.边和权重,如何存储这些信息是至关重要的,同时采用何种存储结构对图的还原影响非常大.今天将介绍两种图的存储方式:1)关系数据库存储 2)关系数据库+文本. 1)关系数据库存储 如上面的图,我们知道其中有V1.V2.V3. V4.

iOS狂暴之路---iOS中应用的数据存储方式解析

一.前言 前面一篇文章中已经介绍了iOS应用中的视图控制器知识点,而本文不会按照常理来介绍View的知识点,而是先介绍iOS中的数据存储知识点,因为关于View的知识点太多了,后面会连续详细介绍一下.这篇先来看一下iOS中的数据存储功能分析.每一个iOS应用和Android应用一样,都有其对应的沙盒存储自己的数据,但是iOS和Android有一个区别就在于没有SD卡的概念了,也就说在iOS中应用的数据只能保存到自己的沙盒中.这也可以看出来iOS为了应用的安全考虑. 在开发Android的时候都知

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

转自:http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_content_list&utm_content=homepage 目前大数据存储查询方案大概可以分为:Hbase系.Dremel系.预聚合系.Lucene系,笔者就自身的使用经验说说这几个系

安卓数据存储总结及详解

前言(首先说说什么存储的几个概念) 打开手机设置,选择应用管理,选择任意一个App,然后你会看到两个按钮,一个是清除缓存,另一个是清除数据,那么当我们点击清除缓存的时候清除的是哪里的数据?当我们点击清除数据的时候又是清除的哪里的数据? 在Android开发中我们常常听到这样几个概念,内存,内部存储,外部存储,很多人常常将这三个东西搞混,那么我们今天就先来详细说说这三个东西是怎么回事? 内存: 我们在英文中称作memory,内部存储,我们称为InternalStorage,外部存储我们称为Exte

Android系统的五种数据存储形式(二)

之前介绍了Android系统下三种数据存储形式,今天补充介绍另外两种,分别是内容提供者和网络存储.有些人可能认为内存提供者和网络存储更偏向于对数据的操作而不是数据的存储,但这两种方式确实与数据有关,所以这里还是将这两种形式简要的说明一下. Content Provider: Content Provider,中文名是内存提供者,Android四大组件之一,内容提供者是应用程序之间共享数据的接口,以数据库形式存入手机内存,可以共享自己的数据给其他应用使用.之所以需要设计一个单独的控件来操作数据,是

虚拟化与云计算将带来数据存储的变革

近日,数据存储行业分析师.厂商和金融家齐聚波士顿的BD大会,提出他们对未来一年的存储和IT行业的看法. IT销售增长率比起10年前小了许多,而用户努力想从他们现有的IT环境中挖掘每一分效率上的潜力.为了满足用户提高效率的需求,虚拟化和云是与会者最关注的趋势之一. Akorri的John Gavin表示:"虚拟化过去针对的是那些容易实现的目标,比如服务器合并和成本管理.现在虚拟化则是想如何在任务关键型应用程序中简化管理和管理性能问题." 数据中心从物理设备的约束中迁移到更加综合的模式.现

看主流云数据存储怎么“整”最划算?

云数据存储的高成本粉碎了企业公有云业务案例的梦想.一些企业表示他们可以以和按月云存储和用例费用相同的成本购买到硬盘.同时微软和谷歌免费赠送其SkyDrive和Google Drive服务.云消费者可能发现很难搞清楚价格差异到底体现在哪.为了能够完整的理解这些内容,就要看看在你购买云存储时,你实际得到了什么. 磁盘容量单独而言相对的不是那么贵,尤其是大规模应用上.你可以花费比100美金对一点的资金购买太字节的外接硬盘,比如,你可以假想要一个100TB容量的大型服务器,就可以为10,000个终端用户

hadoop的数据存储

行存储 如图2所示,基于Hadoop系统行存储结构的优点在于快速数据加载和动态负载的高适应能力,这是因为行存储保证了相同记录的所有域都在同一个集群节点,即同一个HDFS块.不过,行存储的缺点也是显而易见的,例如它不能支持快速查询处理,因为当查询仅仅针对多列表中的少数几列时,它不能跳过不必要的列读取:此外,由于混合着不同数据值的列,行存储不易获得一个极高的压缩比,即空间利用率不易大幅提高.尽管通过熵编码和利用列相关性能够获得一个较好的压缩比,但是复杂数据存储实现会导致解压开销增大. 图2 HDFS