vehicle time series data analysis

以HADOOP为代表的云计算提供的只是一个算法运行环境,为大数据的并行计算提供了在现有软硬件水平下最好的(近似)方法,并不能解决大数据应用中的所有问题。从具体应用而言,通过物联网方式接入IT圈的数据供应商(Data Provider)所面临的首要问题是数据分析的算法,其次才是算法的并行计算。

以汽车厂商(OEM,Tire1,Vendor,TSP)为例,所面临的大数据问题在 4V(Volume,Velocity,Variety,Veracity/Value)中,最突出的差异是Velocity,即实时性(Real Time),有些信号的更新周期达到10ms。当然从应用采样和算法处理角度而言,可能并不需要这么密的数据,这就涉及到系统架构的区别,哪些功能放在终 端上运行,哪些功能在后台服务器上运行。以发动机转速信号为例,总线上这个信号的周期一般是10ms±5%,如果整个车联网系统要做的只是驾驶员行为分析
(反映车辆运行状态),根本就用不上这么高频度的采样周期,完全可以10s往后台打包发一次数据。但是如果整个车联网的应用是发动机故障诊断或防盗报警, 需要的精度就不一样了,正常启动转速低于500rpm几乎可以肯定发动机异常,如果等到30s后驾驶员才得到提示,发动机就该冒烟了。而对于一些事件触发 信号,如锁车状态下发动机异常启动,后台服务器判断车辆被盗的时间要求则更高。

IT行业在评估系统采用NoSQL还是SQL的时候,汽车上数据处理首先面临的是如何搜索。不同于传统互联网行业的文本数据,物联网或车辆网面对的都是时间序列数据(Time Series Data),在这一点上,看股市走势图上各种眼花缭乱的曲线就知道了。当某个信号样本被定义为故障模式后,历史数据里面是否还存在类似的曲线,这在时间序列里被成为相似度搜索(Similarity Search)的问题。如果某个信号曲线总是周期重复,并呈现一定上升或下降趋势,未来能否能对这个信号做出预测,这就是数据预测(Data Prediction)的问题。其它数据相关分析、数据聚类等被统称为数据挖掘(Data
Mining)的技术则建立在结构化数据的基础上,目的在于降低数据维度(Variety),目前在汽车控制和分析领域的应用实在有限。

遗憾的是时间序列的分析和处理在车联网领域几乎没有成熟的工具和方法,即使Matlab、R、WolframAlpha这类专业的数学工具,提供的算法库也很少。这一方面是因为物联网行业积累的数据不够丰富,应用前景不清晰,更重要的是时间序列数据的处理涉及各专业领域的技术和方法,处理难度很大。以汽车速度这一数据为例,机械工业时代大家关心的单位是小时,电子和信息工业时代单位是s,物联网行业全过程、大样本场景下讨论的则是ms。

时间: 2024-08-29 05:21:31

vehicle time series data analysis的相关文章

Python For Data Analysis -- Pandas

首先pandas的作者就是这本书的作者 对于Numpy,我们处理的对象是矩阵 pandas是基于numpy进行封装的,pandas的处理对象是二维表(tabular, spreadsheet-like),和矩阵的区别就是,二维表是有元数据的 用这些元数据作为index更方便,而Numpy只有整形的index,但本质是一样的,所以大部分操作是共通的 大家碰到最多的二维表应用,关系型数据库中的表,有列名和行号,这些就是元数据 当然你可以用抽象的矩阵来对这些二维表做统计,但使用pandas会更方便  

《Python For Data Analysis》学习笔记-1

在引言章节里,介绍了MovieLens 1M数据集的处理示例.书中介绍该数据集来自GroupLens Research(http://www.groupLens.org/node/73),该地址会直接跳转到https://grouplens.org/datasets/movielens/,这里面提供了来自MovieLens网站的各种评估数据集,可以下载相应的压缩包,我们需要的MovieLens 1M数据集也在里面. 下载解压后的文件夹如下: 这三个dat表都会在示例中用到,但是我所阅读的<Pyt

《python for data analysis》第十章,时间序列

< python for data analysis >一书的第十章例程, 主要介绍时间序列(time series)数据的处理.label:1. datetime object.timestamp object.period object2. pandas的Series和DataFrame object的两种特殊索引:DatetimeIndex 和 PeriodIndex3. 时区的表达与处理4. imestamp object.period object的频率概念,及其频率转换5. 两种频

Data analysis system

A data analysis system, particularly, a system capable of efficiently analyzing big data is provided. The data analysis system includes an analyst server, at least one data storage unit, a client terminal independent of the analyst server, and a cach

Spark的Python和Scala shell介绍(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)

Spark提供了交互式shell,交互式shell让我们能够点对点(原文:ad hoc)数据分析.如果你已经使用过R,Python,或者Scala中的shell,或者操作系统shell(例如bash),又或者Windows的命令提示符界面,你将会对Spark的shell感到熟悉. 但实际上Spark shell与其它大部分shell都不一样,其它大部分shell让你通过单个机器上的磁盘或者内存操作数据,Spark shell让你可以操作分布在很多机器上的磁盘或者内存里的数据,而Spark负责在集

Python For Data Analysis -- NumPy

NumPy作为python科学计算的基础,为何python适合进行数学计算,除了简单易懂,容易学习 Python可以简单的调用大量的用c和fortran编写的legacy的库   The NumPy ndarray: A Multidimensional Array Object ndarray,可以理解为n维数组,用于抽象矩阵和向量 Creating ndarrays 最简单的就是,从list初始化, 当然还有其他的方式,比如, 汇总,     Data Types for ndarrays

3.1.7. Cross validation of time series data

3.1.7. Cross validation of time series data Time series data is characterised by the correlation between observations that are near in time (autocorrelation). However, classical cross-validation techniques such as KFold and ShuffleSplit assume the sa

About Data Analysis

About Data Analysis 工具不能解决代码中的问题.它可以帮助你更好地了解你的代码正在做什么,通过捕捉应用程序运行时的详细统计信息,并将它们呈现给你进行分析.由于每个应用程序都不同,查找和解决问题的实际步骤各不相同.因此,您必须学习如何通过过滤不需要的数据来解释信息工具,并钻入与应用程序相关的数据.然后,您必须执行一些检查工作,将您识别的任何数据与应用程序中的代码关联起来,这样您就可以进行改进.Instruments doesn't fix problems with your c

Python For Data Analysis -- IPython

IPython Basics 首先比一般的python shell更方便一些 比如某些数据结构的pretty-printed,比如字典 更方便的,整段代码的copy,执行 并且可以兼容部分system shell , 比如目录浏览,文件操作等   Tab Completion 这个比较方便,可以在下面的case下,提示和补全未输入部分 a. 当前命名空间中的名字 b.对象或模块的属性和函数 c. 文件路径   Introspection, 内省 ?,在标识符前或后加上,显示出对象状况和docst