机器学习 评价指标整理

目录

1.准确率(Accuracy)

2.召回率(Recall)

3.精确率(Precision)

4.召回率与精确率的关系

?5.误报率(FPR)与漏报率(FNR)

1.准确率(Accuracy)

准确率是指我们的模型预测正确的结果所占的比例。

正式点说,准确率的定义如下:

$Accuracy = \frac{Number of correct predictions}{Total number of predictions}$

对于二元分类,也可以根据正类别和负类别按如下方式计算准确率:

$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}$

其中,TP = 真正例,TN = 真负例,FP = 假正例,FN = 假负例。

例如:该模型将 100 条流分为Tor (正类别)或no-Tor(负类别):

$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}= \frac{1+90}{1+90+1+8}=0.91$

准确率为 0.91,即 91%(总共 100 个样本中有 91 个预测正确)。

但仔细琢磨正负例的比例,显然是不够能说明问题的。例如,我有1000个样本,其中910都是负例,模型只要学到将所有样本预测为负例,准确率即可达到91%,这样却永远检测不出正例。

所以,当使用分类不平衡的数据集(比如正类别标签和负类别标签的数量之间存在明显差异)时,单单准确率一项并不能反映全面情况。

在2、3部分中,我们将介绍两个能够更好地评估分类不平衡问题的指标:召回率和精确率。

2.召回率(Recall=TPR)

召回率表示在所有正类别样本中,被正确识别为正类别的比例。

从数学上讲,召回率的定义如下:

$Recall=\frac{TP}{TP+FN}$

让我们来计算一下流量分类器的召回率(上面的例子):

$Recall=\frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$

该模型的召回率是 0.11,也就是说,该模型能够正确识别出所有Tor流量的百分比是 11%。

3.精确率(Precision)

精确率表示被识别为正类别的样本中,确实为正类别的比例。

精确率的定义如下:

$Precision=\frac{TP}{TP+FN}$

让我们来计算一下流量分类器(上面的例子)的精确率:

$Precision=\frac{TP}{TP+FN} =\frac{1}{1+1} = 0.5$

该模型的精确率为 0.5,也就是说,该模型在预测Tor流量方面的正确率是 50%。

参考:https://developers.google.com/machine-learning/crash-course/classification/precision-and-recall?hl=zh-cn

4.召回率与精确率的关系

在信息检索领域,召回率和精确率又被称为查全率和查准率:

  • 查全率=检索出的相关信息量 / 系统中的相关信息总量
  • 查准率=检索出的相关信息量 / 检索出的信息总量

由此可以理解:

  • 假负例 (FN)又叫漏报
  • 假正例 (FP)又叫误报

参考:机器学习性能评估指标

5.误报率(FPR)与漏报率(FNR)

真正例率 TPR = TP / (TP + TN)

表示,被挑出来的(预测是“正”的),且正确的(预测值=真实值)的,占总的预测正确的比率。

反正例率 FPR = FP / (FP + TN)

表示,被挑出来的(预测是“正”的),但错误的(预测值!=真实值)的,占总的预测错误的比率。

TPR越大,则表示挑出的越有可能(是正确的);FPR越大,则表示越不可能(在挑选过程中,再挑新的出来,即再挑认为是正确的出来,越有可能挑的是错误的)。

TNR(True Negative Rate)可以理解为所有反类中,有多少被预测成反类(反类预测正确),给出定义如下:

FNR(False Negative Rate)可以理解为所有正类中,有多少被预测成反类(反类预测错误),给出定义如下:

误报率(FPR)、漏报率(FNR)

原文地址:https://www.cnblogs.com/shona/p/12239400.html

时间: 2024-10-12 04:15:46

机器学习 评价指标整理的相关文章

神经网络和机器学习资料整理

公开课Andrew Ng 的机器学习公开课Geoffrey Hinton 的神经网络的公开课 学习和参考书 常用网址 Referencetornadomeet整理的学习资料和常用链接

机器学习 —— 基础整理(五):线性回归;二项Logistic回归;Softmax回归;广义线性模型

本文简单整理了以下内容: (一)线性回归 (二)二分类:二项Logistic回归 (三)多分类:Softmax回归 (四)广义线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型,我觉得这个模型很适合用来入门(但是必须注意这个模型有很多很多很多很多可以展开的地方).比较有意思的是那时候还不会矩阵微积分,推导梯度时还是把矩阵全都展开求的(牛顿法要用的二阶梯度也是)... 下面的文字中,"Logistic回归"都表示用于二分类的二项Logistic回归. 首先约定一下记号

机器学习 —— 基础整理(四):特征提取之线性方法——主成分分析PCA、独立成分分析ICA、线性判别分析LDA

本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensionality) 维数灾难就是说当样本的维数增加时,若要保持与低维情形下相同的样本密度,所需要的样本数指数型增长.从下面的图可以直观体会一下.当维度很大样本数量少时,无法通过它们学习到有价值的知识:所以需要降维,一方面在损失的信息量可以接受的情况下获得数据的低维表示,增加样本的密度:另一方面也可以达到去噪

机器学习 —— 基础整理(六):线性判别函数——感知器、松弛算法、Ho-Kashyap算法

本文简单整理了以下内容: (一)线性判别函数与广义线性判别函数 (二)感知器 (三)松弛算法 (四)Ho-Kashyap算法 (一)线性判别函数与广义线性判别函数 一.线性判别函数 这篇总结继续关注分类问题.假设判别函数(Discriminant function)的参数形式已知,用训练的方法直接根据样本估计判别函数的参数.线性判别函数的形式为: $$g(\textbf x)=\textbf w^{\top}\textbf x+w_0$$ $\textbf x\in \mathbb R^d$ 是

[台大机器学习笔记整理]作为结果的映射关系的泛化问题

L5 在上节课中已经可以对有限个hypothesis的假设集列出霍夫丁不等式如下: 在进行机器学习的过程中,我们一方面要保证Ein与Eout是比较接近的,另一方面为了获取一个比较好的结果,也希望Ein能比较好.于是有了以下的一个基本trade-off: 当假设集大小M比较小的时候:能够很容易保证Ein与Eout比较接近,但是这个时候由于M比较小,不那么容易选取到一个Ein比较小的结果. v.s. 当假设集大小M比较大的时候:由于备选假设多,所以能够较容易地选取到一个Ein比较小的结果,但是不容易

机器学习评价指标 本文针对二元分类器

机器学习:准确率(Precision).召回率(Recall).F值(F-Measure).ROC曲线.PR曲线 在介绍指标前必须先了解"混淆矩阵": 混淆矩阵 True Positive(真正,TP):将正类预测为正类数,是正的,也预测正的 True Negative(真负,TN):将负类预测为负类数,是负的,也预测负的 False Positive(假正,FP):将负类预测为正类数误报 (Type I error),是负的,预测为正的 False Negative(假负,FN):将

机器学习 —— 基础整理(三):非参数方法——Parzen窗估计、k近邻估计;k近邻分类器

本文简述了以下内容: (一)非参数方法 (二)Parzen窗估计 (三)k近邻估计 (四)k近邻算法(k-nearest neighbor,kNN) (一)非参数方法(Non-parametric method) 对于生成模型来说,重要的地方在于类条件概率密度 $p(\textbf x|\omega_i)$ 的估计.上一篇介绍的参数方法,假定其是一个固定的分布密度形式,然后估计这个显式表达的函数中未知的参数.但这里存在两个问题:首先,假定的形式可能是不准确的,实际数据并不符合这个假设:其次,经典

机器学习算法整理(四)集成算法—随机森林模型

随机:数据采样随机,特征选择随机 (数据采样,有放回) 原文地址:https://www.cnblogs.com/douzujun/p/8386930.html

机器学习算法整理(六)— 贝叶斯算法_拼写纠正实例_垃圾邮件过滤实例

(p(h): 先验概率) 垃圾邮箱过滤实例 原文地址:https://www.cnblogs.com/douzujun/p/8457806.html