机器学习之模型性能评估

TP与TN都是分对了情况,TP是正类,TN是负类。则推断出,FP是把错的分成了对的,而FN则是把对的分成了错的。

【举例】一个班里有男女生,我们来进行分类,把女生看成正类,男生看成是负类。我们可以用混淆矩阵来描述TP、TN、FP、FN。

  相关(Relevant),正类 无关(NonRelevant),负类
被检索到(Retrieved) True Positives(TP,正类判定为正类。即女生是女生) False Positives(FP,负类判定为正类,即“存伪”。男生判定为女生)
未被检索到(Not Retrieved) False Negatives(FN,正类判定为负类,即“去真”。女生判定为男生) True Negatives(TN,负类判定为负类。即男生判定为男生)

准确率:accuracy_score    所有的预测正确(正类负类)的占总的比重。accuracy_score=(TP+TN)/(TP+TN+FP+FN)。

精确率:precision_score   正确预测为正的占全部预测为正的比例。即查准率 precision_score=TP/(TP+FP)

召回率:recall_score  正确预测为正的占全部实际为正的比例。即查全率 recall_score=TP/(TP+FN)

均方误差:mean_squared_error  衡量“平均误差”的一种较方便的方法。是参数估计值与参数真值之差的平方的期望值(均值)。常运用在信号处理的滤波算法(最小均方差)中,表示此时观测值observed与估计值 predicted之间的偏差。

可释方差:explained_variance_score

R方值:r2_score

原文地址:https://www.cnblogs.com/xuwenying/p/10423818.html

时间: 2024-11-04 07:04:33

机器学习之模型性能评估的相关文章

机器学习:模型性能评估与参数调优

模型性能评估的常用指标 真阳性(True Positive,TP):指被分类器正确分类的正例数据 真阴性(True Negative,TN):指被分类器正确分类的负例数据 假阳性(False Positive,FP):被错误地标记为正例数据的负例数据 假阴性(False Negative,FN):被错误地标记为负例数据的正例数据 精确率=TP/(TP+FP),TP+FP是模型预测的正样本总数,精确率衡量的是准确性: 召回率=TP/(TP+FN),TP+FN是真实的正样本总数,召回率衡量的是覆盖率

模型性能评估

模型性能评估 模型性能评估是为了评价模型的泛化能力,模型性能评估主要有两个问题要解决: 1)用什么数据来评估? 2)用什么标准来评估? 下面的第一节内容主要解答用什么数据来评估模型的性能,第二节解答用什么标准来评估. 1.用什么数据来评估模型性能 常用的有3中,按照复杂程度程度排序分别为: 1)训练集+测试集 2)holdout方法 3)K折交叉验证 其中第1种方法是用测试集来评估模型的性能:第二种方法是用验证集+测试集来评估,验证集用于训练过程中的评估,测试集用于最终的评估:第3种方法也是用验

机器学习:模型性能度量(performance measure)(待补充)

对学习器的泛化性能进行评估,不仅需要有效的实验估计方法,还需要有衡量模型泛化性能的评准指标,这就是性能度量.性能度量反应任务需求,对比不同模型能力时,使用不同性能度量能导致不同的评判结果.因此,模型的好坏是相对的,模型不仅取决于算法和数据,还绝对于任务需求. 1. 回归任务中常用的性能度量是"均方误差"(mean squared error) 2. 聚类任务中性能度量分为两类:一类是将聚类结果与某个"参考模型"(reference model)进行比较,成为&quo

机器学习模型性能评估方法笔记

模型性能评估综述 对于模型性能的评估,我们通常分为一下三步: 1. 对数据集进行划分,分为训练集和测试集两部分: 2. 对模型在测试集上面的泛化性能进行度量: 3. 基于测试集上面的泛化性能,依据假设检验来推广到全部数据集上面的泛化性能 数据集的划分 对于模型来说,其在训练集上面的误差我们称之为"训练误差"或者"经验误差",而在测试集上的误差称之为"测试误差".因为测试集是用来测试学习期对于新样本的学习能力的,因此我们可以把测试误差作为泛化误差的

模型的性能评估(二) 用sklearn进行模型评估

在sklearn当中,可以在三个地方进行模型的评估 1:各个模型的均有提供的score方法来进行评估. 这种方法对于每一种学习器来说都是根据学习器本身的特点定制的,不可改变,这种方法比较简单.这种方法受模型的影响, 2:用交叉验证cross_val_score,或者参数调试GridSearchCV,它们都依赖scoring参数传入一个性能度量函数.这种方法就是我们下面讨论的使用scoring进行模型的性能评估. 3:Metric方法,Metric有为各种问题提供的评估方法.这些问题包括分类.聚类

机器学习之模型评估与选择

2.1 经验误差与过拟合 基本概念: 错误率:分类错误数/总样本数 训练误差/经验误差:学习器在训练集上所产生的误差 泛化误差:学习器在测试集上产生的误差 2.2 评估方法 在实际应用中会有多种不同的算法进行选择,对于不同的问题,我们该选择用哪种学习算法和参数配置,是机器学习中的模型选择.无法直接获得泛化误差,训练误差由于过拟合现象的存在也不适合作为标准,我们如何对模型进行评估和选择. 从训练集中随机获取测试集,测试集和训练集互斥.通过对D进行适当的处理,从中产生出训练集S和测试集T,下面介绍几

【机器学习】性能评估指标

机器学习性能评估指标 TP.TN.FP.FN FN:False(假的) Negative(反例),模型判断样本为负例,但模型判断错了,事实上是正样本.(漏报率)FP:False(假的) Positive(正例),模型判断样本为正例,但模型判断错了,事实上是负样本.(误报率)TN:True(真的) Negative(负例),模型判断样本为负例,事实上也是负样本,模型的判断是对的.TP:True(真的) Positive(正例),模型判断样本为正例,事实上也是正样本,模型判断是对的. Precisi

机器学习之模型评估与模型选择(学习笔记)

时间:2014.06.26 地点:基地 -------------------------------------------------------------------------------------- 一.训练误差和测试误差 机器学习或者说统计学习的目的就是使学习到的模型不仅对已知数据而且对未知数据都都很好的预测能力.不同的学习方法会得出不同的模型.在评判学习方法的好坏时,常用的是: 1.基于损失函数的模型的训练误差                          2.模型的测试误

【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积

一.前述 怎么样对训练出来的模型进行评估是有一定指标的,本文就相关指标做一个总结. 二.具体 1.混淆矩阵 混淆矩阵如图: 相关公式: 公式解释: fp_rate: tp_rate: recall:(召回率) 值越大越好 presssion:(准确率) TP:本来是正例,通过模型预测出来是正列 TP+FP:通过模型预测出来的所有正列数(其中包括本来是负例,但预测出来是正列) 值越大越好 2.ROC曲线 过程:对第一个样例,预测对,阈值是0.9,所以曲线向上走,以此类推. 对第三个样例,预测错,阈