《时序异常检测算法概览》

时序异常检测算法概览

2018-09-03 17:08:49 分类:人工智能与大数据

来自:论智(微信号:jqr_AI),作者:Pavel Tiunov,编译:weakish
来源:statsbot,原文链接

编者按:Statsbot CTO Pavel Tiunov简要介绍了最流行的时序异常检测算法,并讨论了它们的优点和缺点

在Statsbot,我们持续检查异常检测方法这一领域的研究,并据此更新我们的模型。

本文概览了最流行的时序异常检测算法,并讨论了它们的优点和缺点。

本文是为想要了解异常检测技术发展现状的经验不足的读者写的,我们将模型的数学藏在参考链接里,以免吓到读者。

异常的重要类型

时序异常检测通常形式化为根据某种标准或正常信号寻找离群数据点。有很多异常类型,但本文只关注那些从商业角度来说最重要的类型,包括意料之外的峰谷、趋势变动、水平变化(level shift)。

例如,追踪网站的用户数时发现短时间内出乎意料的用户增长,看起来像是一个尖峰。这类异常通常称为加性离群值(additive outlier)。

再举一个例子,服务器挂了,某段时间内的用户数为零或极低。这类异常通常归类为时间变动(temporal change)。

再比如,你正处理某种转化漏斗(conversion funnel),可能会碰到转化率下降。如果发生这种情况,目标测度通常不会改变信号的形状,但会改变某段时期内的总值。取决于变化的特征,这类异常通常称为水平变化(level shift)或季节性水平变化(seasonal level shift)。

基本上,异常检测算法要么将每个时间点标记为异常/非异常,要么预测某一点的信号,并测试这一点的值和预测值的偏离程度,以认定异常。

使用第二种方法的时候,可以可视化置信区间,这对理解异常出现的原因并加以确认很有帮助。

Statsbot的异常报告,虚线为预测,阴影部分为置信区间

下面我们将从应用角度查看寻找不同类型离群值的算法。

STL分解

STL是基于损失的季节性趋势分解过程的简称。这一技术可以将时序信号分成三部分:季节性(seasonal)、趋势(trend)、残余(residue)。

从上往下:原时序,季节性、趋势、残余部分

顾名思义,STL分解适用于季节性时序数据,这是最常见的情形。

如果你分析残余的偏离程度,并引入某种阈值,你会得到一种异常检测算法。

为了得到鲁棒性更好的检测效果,这里应该使用绝对中位差。该方法最先进的实现是Twitter的异常检测库。它使用Generalized Extreme Student Deviation(广义ESD)测试残余点是否是离群值。

优点

这一方法的优点在于简单性和鲁棒性。它可以处理许多不同情况,并且所有异常仍然可以直观地解释。

它主要擅长检测加性离群值。如果想要检测水平变化,你可以转而分析某种移动平均信号。

缺点

这一方法的缺点是调整选项很死板,你只能通过显著性水平调整置信区间。

信号特征剧烈变动是该方法效果不佳的典型场景。例如,追踪原本不对公众开放,随后突然开放的网站的用户数。在这种情形下,你应该分别追踪网站上线前和上线后的异常。

分类回归树

分类回归树(CART)是鲁棒性最好、效率最高的机器学习算法之一。它同样可以应用于异常检测问题。

  • 首先,你可以使用监督学习教树分类异常数据点和非异常数据点。这需要你有标记好的数据点。
  • 第二种方法是使用无监督学习教CART预测时序中的下一个数据点,得到和STL分解方法类似的置信区间或预测误差。你可以使用广义ESD检验或Grubbs检验检查数据点是否位于置信区间之内。

绿色为实际时序,蓝色为CART模型预测的时序,红圈内为检测到的异常

最流行的实现是XGBoost

优点

这一方法的强项是它不受信号结构限制,可以引入更多的学习的特征参数得到复杂模型。

缺点

这一方法的弱点是特征数的增长很快会影响到算力表现。这种情形下,你应该精心选择特征。

ARIMA

ARIMA(整合移动平均自回归模型)是一个设计得非常简单的方法,但仍然足够强大,可以预测信号并指出其中的异常值。

它的思路是过去的若干数据点加上某个随机变量(通常是白噪声)可以预测下一个数据点。预测数据点可以进一步用来生成新预测,以此类推。显然,它的效果是让信号变得更平滑。

应用这一方法的难点在于你需要通过Box-Jenkins方法选择差异数、自回归数、预测误差系数。

处理新信号时应该创建新ARIMA模型。

另一个麻烦是对信号取差值后得到的信号应该是停滞的。也就是说,信号不应取决于时间,这是一个显著的限制。

创建一个适应离群点的模型,基于t统计量看它是否比原模型更好地拟合数据,这就可以实现异常检测。

这一方法的实现,大家比较偏爱R语言的tsoutliers包。它适用于你可以为信号找到一个合适的ARIMA模型的情形,可以检测出各种异常。

指数平滑

指数平滑技术和ARIMA方法非常类似。基本指数模型等价于ARIMA (0, 1, 1)模型。

从异常检测的角度来说,我们最感兴趣的是Holt-Winters季节性方法。你需要定义季节性周期,比如一周、一月、一年。

万一你需要追踪多种季节性周期,比如同时追踪周和年,你应该选择其中的一种。通常是选择最短的周期,比如,在周和年之间选择周。

很明显,这是该方法的一个缺陷,会大大影响预测范围。

和STL或CART一样,通过统计学检验可以实现异常检测。

神经网络

和CART的情形类似,神经网络有两种应用方式:监督学习和无监督学习。

由于我们处理的是时序数据,最合适的神经网络类型是LSTM。如果构建得当,这种循环神经网络可以建模时序中最复杂的依赖关系,包括高层季节性依赖。

这一方法在处理耦合的多个时序数据时非常有用(arXiv:1602.07109)。

这一领域仍在研究之中(es2015-56),创建时序模型需要花很多功夫。不过,如果你成功的话,你可能取得突出的精确度。

建议

  1. 尝试最适合你的问题的最简单的模型和算法。
  2. 如果最简单的模型不奏效,转向更高级的技术。
  3. 从覆盖所有情形的更通用的解决方案开始是一个很有诱惑力的选项,但它并不总是最佳选择。

在Statsbot,我们组合使用从STL到CART和LSTM的不同技术,在不同规模上监测异常。

原文地址:https://www.cnblogs.com/cx2016/p/12151605.html

时间: 2024-10-12 00:38:36

《时序异常检测算法概览》的相关文章

CI框架源码阅读笔记3 全局函数Common.php

从本篇开始,将深入CI框架的内部,一步步去探索这个框架的实现.结构和设计. Common.php文件定义了一系列的全局函数(一般来说,全局函数具有最高的加载优先权,因此大多数的框架中BootStrap引导文件都会最先引入全局函数,以便于之后的处理工作). 打开Common.php中,第一行代码就非常诡异: if ( ! defined('BASEPATH')) exit('No direct script access allowed'); 上一篇(CI框架源码阅读笔记2 一切的入口 index

IOS测试框架之:athrun的InstrumentDriver源码阅读笔记

athrun的InstrumentDriver源码阅读笔记 作者:唯一 athrun是淘宝的开源测试项目,InstrumentDriver是ios端的实现,之前在公司项目中用过这个框架,没有深入了解,现在回来记录下. 官方介绍:http://code.taobao.org/p/athrun/wiki/instrumentDriver/ 优点:这个框架是对UIAutomation的java实现,在代码提示.用例维护方面比UIAutomation强多了,借junit4的光,我们可以通过junit4的

Yii源码阅读笔记 - 日志组件

?使用 Yii框架为开发者提供两个静态方法进行日志记录: Yii::log($message, $level, $category);Yii::trace($message, $category); 两者的区别在于后者依赖于应用开启调试模式,即定义常量YII_DEBUG: defined('YII_DEBUG') or define('YII_DEBUG', true); Yii::log方法的调用需要指定message的level和category.category是格式为“xxx.yyy.z

源码阅读笔记 - 1 MSVC2015中的std::sort

大约寒假开始的时候我就已经把std::sort的源码阅读完毕并理解其中的做法了,到了寒假结尾,姑且把它写出来 这是我的第一篇源码阅读笔记,以后会发更多的,包括算法和库实现,源码会按照我自己的代码风格格式化,去掉或者展开用于条件编译或者debug检查的宏,依重要程度重新排序函数,但是不会改变命名方式(虽然MSVC的STL命名实在是我不能接受的那种),对于代码块的解释会在代码块前(上面)用注释标明. template<class _RanIt, class _Diff, class _Pr> in

CI框架源码阅读笔记5 基准测试 BenchMark.php

上一篇博客(CI框架源码阅读笔记4 引导文件CodeIgniter.php)中,我们已经看到:CI中核心流程的核心功能都是由不同的组件来完成的.这些组件类似于一个一个单独的模块,不同的模块完成不同的功能,各模块之间可以相互调用,共同构成了CI的核心骨架. 从本篇开始,将进一步去分析各组件的实现细节,深入CI核心的黑盒内部(研究之后,其实就应该是白盒了,仅仅对于应用来说,它应该算是黑盒),从而更好的去认识.把握这个框架. 按照惯例,在开始之前,我们贴上CI中不完全的核心组件图: 由于BenchMa

CI框架源码阅读笔记2 一切的入口 index.php

上一节(CI框架源码阅读笔记1 - 环境准备.基本术语和框架流程)中,我们提到了CI框架的基本流程,这里这次贴出流程图,以备参考: 作为CI框架的入口文件,源码阅读,自然由此开始.在源码阅读的过程中,我们并不会逐行进行解释,而只解释核心的功能和实现. 1.       设置应用程序环境 define('ENVIRONMENT', 'development'); 这里的development可以是任何你喜欢的环境名称(比如dev,再如test),相对应的,你要在下面的switch case代码块中

Apache Storm源码阅读笔记

欢迎转载,转载请注明出处. 楔子 自从建了Spark交流的QQ群之后,热情加入的同学不少,大家不仅对Spark很热衷对于Storm也是充满好奇.大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲. 尽管自己也陆续对storm的源码走读发表了一些博文,当时写的时候比较匆忙,有时候衔接的不是太好,此番做了一些整理,主要是针对TridentTopology部分,修改过的内容采用pdf格式发布,方便打印. 文章中有些内容的理解得益于徐明明和fxjwind两位的指点,非常感谢.

CI框架源码阅读笔记4 引导文件CodeIgniter.php

到了这里,终于进入CI框架的核心了.既然是"引导"文件,那么就是对用户的请求.参数等做相应的导向,让用户请求和数据流按照正确的线路各就各位.例如,用户的请求url: http://you.host.com/usr/reg 经过引导文件,实际上会交给Application中的UsrController控制器的reg方法去处理. 这之中,CodeIgniter.php做了哪些工作?我们一步步来看. 1.    导入预定义常量.框架环境初始化 之前的一篇博客(CI框架源码阅读笔记2 一切的入

jdk源码阅读笔记之java集合框架(二)(ArrayList)

关于ArrayList的分析,会从且仅从其添加(add)与删除(remove)方法入手. ArrayList类定义: p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 18.0px Monaco } span.s1 { color: #931a68 } public class ArrayList<E> extends AbstractList<E> implements List<E> ArrayList基本属性: /** *

dubbo源码阅读笔记--服务调用时序

上接dubbo源码阅读笔记--暴露服务时序,继续梳理服务调用时序,下图右面红线流程. 整理了调用时序图 分为3步,connect,decode,invoke. 连接 AllChannelHandler.connected(Channel) line: 38 HeartbeatHandler.connected(Channel) line: 47 MultiMessageHandler(AbstractChannelHandlerDelegate).connected(Channel) line: