分类与预测

分类主要是预测分类标号（离散属性），预测是建立连续值函数模型，预测给定自变量的因变量的值。

常用的分类与预测算法

回归分析

递归特征消除的主要思想是反复的构建模型（如SVM或者回归模型）然后选出最好的（或者最差的）的特征，把选出来的特征放到一边，然后在剩余的特征上重复这个过程，直到遍历所有特征。

稳定性选择时一种基于二次抽样和选择算法相结合较新的方法，选择算法可以是回归、SVM或其他类似的方法。它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断重复，最终汇总特征选择结果。

决策树

决策树是一种树状结构，每一个叶节点对应着一个分类，非叶节点对应着某个属性上的划分，根据样本在属性上的不同取值将其划分成若干个子集。

由于ID3决策树采用了信心增益作为选择测试属性的标准，会偏向于选择取值较多的，即所谓高度分支属性，而这类属性并不一定是最优的属性。

人工神经网络

使用人工神经网络模型需要确定网络连接的拓扑结构、神经元的特征和学习规则等。目前已经有40种人工神经网络模型，常用的用来实现分类和预测的人工神经网络算法如下：

分类与预测算法评价

绝对误差与相对误差

设Y是实际值，\(\hat{Y}\)表示预测值，则称E为绝对误差。
\[
E=Y-\hat{Y}
\]
e为相对误差，计算公式如下
\[
e=\frac{Y-\hat{Y}}{Y}
\]

平均绝对误差

平均绝对误差（MAE）定义如下：
\[
MAE=\frac{1}{n}\sum_{i=1}^n|E_i|=\frac{1}{n}\sum_{i=1}^n|Y_i-\hat{Y_i}|
\]

均方误差

MSE定义如下：
\[
MSE=\frac{1}{n}\sum_{i=1}^nE_i^2=\frac{1}{n}\sum_{i=1}^n(Y_i-\hat{Y_i})^2
\]
均方误差是预测误差平方之和的平均数，由于对误差E进行了平方，加强了数值大的误差在指标中的作用，从而提高了这个指标的灵敏性。均方误差是误差分析的综合指标之一。

均方根误差

RMSE是对MSE求平方根。均方误差代表了预测值的离散程度，也称为标准误差，最佳拟合情况为RMSE=0。

平均绝对百分误差

MAPE定义如下
\[
MAPE=\frac{1}{n}\sum_{i=1}^n|E_i/Y_i|=\frac{1}{n}\sum_{i=1}^n|(Y_i-\hat{Y_i})/Y_i|
\]
一般认为MAPE小于10时，预测精确度较高。

Kappa统计

Kappa统计时比较两个或多个观测者对同一事物，或观测者对同一事物的两侧或多次观察结果是否一致，以由于机遇造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标。Kappa统计量和加权Kappa统计量不仅可以用于无序和有序分类变量资料的一致性、重现性检验，而且能给出一个反应一致性大小的“量”值。

Kappa的取值在[-1, +1]之间，其值的大小均有不同意义。

• Kappa = +1 说明两次判断的结果完全一致
• Kappa = -1 说明两次判断的结果完全不一致
• Kappa = 0 说明两次判断的结果是机遇造成
• Kappa < 0 说明一致性程度比机遇造成的还差，两次检查结果很不一致，在实际应用中无意义
• Kappa > 0 说明有意义，Kappa越大，说明一致性越好
• Kappa >= 0.75 说明已经取得相当满意的一致程序
• Kappa < 0.4 说明一致性程度不够

识别准确度

识别准确度定义（Accuracy）如下:
\[
Accuracy=\frac{TP+FN}{TP+TN+FP+FN}*100\%
\]

识别精确率

\[
Precision = \frac{TP}{TP+FP}*100\%
\]

召回率

\[
Recall = \frac{TP}{TP+TN}*100\%
\]

ROC曲线

受试者工作特性（ROC）曲线是一种非常有效的模型评价方法，可为选定临界值给出定量提示。将灵敏度设在纵轴，1-特异性设在横轴，就可得出ROC曲线图。该曲线下的积分面积大小与每种方法优劣密切相关，反映分类器正确分类的统计概率，其值越接近1说明算法效果越好。

混淆矩阵

混淆矩阵是模式识别领域一种常用的表达形式。它描绘样本数据的真实属性与识别结果类型之间的关系，是评价分类器性能的一种常用方法。

Python分类预测模型的特点

聚类分析

常用

目标函数

使用误差平方和（SSE）作为度量聚类质量的目标函数。

聚类分析算法评价

1. purity评价法：是极为简单的一种聚类评价方法，只需要计算正确聚类数占总数的比例
2. RI评价法：是一种用排列组合原理来对聚类进行评价的手段，类似混淆矩阵
3. F值评价法

python主要聚类算法

这些不同模型的使用方法是大同小异的，基本都是先用对应的函数建立模型，然后用.fit()方法训练模型，训练好之后，用.label_方法给出样本数据的标签，或者用.predict()方法预测新的输入的标签。

此外，Scipy 库中也提供了一个聚类子库scipy.cluster。

TSNE--聚类结果可视化

TSNE提供了一种有效的数据降维方式，可以在2维或者3维空间中展示结果。

关联规则

常用算法

时序模式

常用时间序列模型

时间序列预处理

拿到一个观察值序列后，首先要对它的纯随机性和平稳性进行检验，这两个重要的检验称为序列的预处理。

1. 对于纯随机序列，又称白噪声序列，序列的各项之间没有任何相关关系，可以终止对该序列的分析。白噪声序列是没有信息可提取的平稳序列。
2. 平稳非白噪声序列，它的均值和方差是常数，已经有一套非常成熟的平稳序列的建模方法。通常是建立一个线性模型来拟合该序列的发展，ARMA模型是最常用的平稳序列拟合模型。
3. 非平稳序列，均值和方差不稳定，处理方法一般将其转变为平稳序列进行处理，如果一个时间序列经差分运算后具有平稳性，为差分平稳序列，可以使用ARIMA模型进行分析。

平稳性检验

自协方差函数和自相关系数衡量同一个事件在两个不同时刻之间的相关程度，就是度量自己过去的行为对自己现在的影响。

1. 时序图检验。均值和方差都是常数，时序图显示序列始终在一个常数附件随机波动，波动的范围有界
2. 自相关图检验。平稳序列具有短期相关性，近期序列想不间隔较远的对现在影响更明显。随着延迟期数k的增加，自相关系数较快衰减趋向于零，并在零附近随机波动，而非平稳序列衰减比较慢
3. 单位根检验。检验序列中是否存在单位根，存在就是非平稳序列

纯随机性检验

白噪声检验，一般是构造统计量，常用的有Q统计量、LB统计量

平稳时间序列分析

ARMA模型全称是自回归移动平均模型，是最常用的拟合平稳序列的模型。细分为AR模型、MA模型和ARMA模型。都是多元线性回归模型。

非平稳时间序列分析

实际上，绝大多数的序列都是非平稳的。分析方法分为：确定性因素分解的时序分析和随机时序分析两大类。

确定性因素分解的方法把所有序列的变化都归为4个因素（长期趋势、季节变动、循环变动和随机波动）的综合影响，其中随机因素导致的波动非常难确定和分析，对随机信息浪费严重，会导致模型拟合精度不理想。

随机时序分析法的发展就是为了弥补确定性因素分解方法的不足，随机时序分析可以建立的模型有ARIMA模型、残差自回归模型、季节模型、异方差模型等。

差分运算

• p阶差分：相距一期的两个序列值之间的减法运算称为1阶差分运算
• k步差分：相距k期的两个序列值之间的减法运算称为k步差分运算

ARIMA模型

差分运算具有请打的确定性信息提取能力，许多非平稳序列差分后显示出平稳序列的性质，称非平稳序列的差分平稳序列。ARIMA模型的实质就是差分运算与ARMA模型的组合。

python主要时序模式算法

python实现时序模式的主要库是StatsModels，算法主要是ARIMA模型，使用时需要：平稳性检验、白噪声检验、是否差分、AIC和BIC指标值、模型定阶，最后再做预测。

离群点检测

离群点大致分类

离群点检测方法

基于模型的离群点检测方法

通过估计概率分布的参数来建立一个数据模型。如果一个数据对象不能很好的同该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。

1. 一元正态分布的离群点检测，根据置信区间判断
2. 混合模型的离群点检测。混合模型是一种特殊的模型，它使用若干统计分布对数据建模，每一个分布对应一个簇，而每个分布的参数提供对应簇的描述，通常用中心和发散描述。

基于聚类的离群点检测方法

丢弃远离其他簇的小簇

该过程可以简化为丢弃小于某个阈值的所有簇。这种防范对簇的个数高度敏感，很难将离群点得分附加到对象上。

基于原型的聚类

首先聚类所有对象，然后评估对象属于簇的程度（离群点得分），在这种方法中，可以用对象到它的簇中心的距离来度量属于簇的程度。特别的，如果删除一个对象导致该目标的显著改进，则可以将该对象视为离群点。例如，在K均值算法汇总，删除远离其相关簇中心的对象能够显著改进该簇的误差平方和（SSE）。

原文地址：https://www.cnblogs.com/51zone/p/10714194.html