单一指标评价模型

对于模型，最重要的就是两个东西

查准率：模型输出为ai中真的是ai的个数 / 模型中输出为ai的个数

查全率：模型中输出为ai的个数 / 真的为ai的个数

那么就想小时候判断运动员成绩的极值和方差一样

我们有时无法判断模型的好坏

那么我们就要用一个单一的指标去评价模型的好坏

设查准率为a， 查全率为b

我们用a, b的调和平均数去评价模型

至于为什么，，，，我也不知道

F1 = 1 / ((1 / a)  + (1 / b) )

　  =  (a * b) / (a + b)

可能会有其他的因素影响你的模型的好坏

你自己设计一个指标就好了，比如加权平均数

原文地址：https://www.cnblogs.com/shensobaolibin/p/8955825.html

时间： 2024-11-09 00:10:04

单一指标评价模型的相关文章

综合指标评价及绩效评价方法

下面是一些主流的会用于综合指标评价以及绩效评价的一些方法: 1.     AHP(层次分析)+加权 目前这个方法是对于医保领域评价绩效用的最多的,包括重庆市.天津市.苏北某市.具体相关文献见文件夹"AHP+加权". 优点:这个方法目前最符合需求,可以将定量的指标结合算出综合指标,用的也比较多. 缺点:对于各指标之间的关系没有具体考虑,只是做的简单的加权求和:需要请专家确定权重:这个方法中心之前已经用过. 2.     DEA数据包络分析 这个方法主要是对运行效率的评价,同时考虑了投入和

如何评价模型的好坏（三）

二分类问题 多分类问题 连续变量问题 四.连续变量问题(回归) (1)距离 (2)残差 (3)残差平方和(SSE): 真实值与预测值之间误差的平方和. (3-1)均方根误差(MSE = mean square error):真实值与预测值之间误差的平方和的均值.(最小二乘) 1 from sklearn.metrics import mean_squared_error 2 y_true = [1,3, -0.3, 2, 7,5] 3 y_pred = [0.8,2.5, 0.0, 2, 8,

吴恩达《机器学习》课程总结(19)_总结

(1)涉及到的算法 1.监督学习:线性回归,逻辑回归,神经网络,SVM. 线性回归(下面第三行x0(i)其实是1,可以去掉) 逻辑回归 神经网络(写出前向传播即可,反向框架会自动计算) SVM 2.非监督学习:聚类算法(K-mean),降维(PCA) K-mean PCA 3.异常检测 4.推荐系统 (2)策略 1.偏差与方差,正则化 训练误差减去人类最高水平为偏差(欠拟合),交叉验证集误差减训练误差为方差(过拟合): 正则化解决方差问题,不对θ0正则化: 2.学习曲线 全过程观测偏差与方差,所

分类不平衡对软件缺陷预测模型性能的影响研究（笔记）

分类不平衡对软件缺陷预测模型性能的影响研究 摘要 分类不平衡 : 不同 类别间样本 数量分布不均衡的现象 分类不平衡影响分析方法: 设计一种 新数据集构造算法 将 原不平衡数据集 转换为 一组 不平衡率依次递增的新数据集 然后,选取 不同的 分类模型 作为 缺陷预测模型 ,分别对 构造的 新数据集 进行预测, 采用 AUC 指标来度量 不同预测模型 的 分类性能. 最后, 采用 变异系数C·V 来评价 各个预测模型 在 分类不平衡时的性能稳定程度 . 结果: C4.5. RIPPER 和 SMO

机器学习第二周-模型评价（I）

对于新建的模型,如何评价其好坏,以及自身的泛化能力,是机器学习中一个关键性问题.对于二分类模型,因原始数据可能是非平衡的,因此仅通过最后的预测准确率并不能评价模型的效果,对于机器学习中的分类与回归两大类模型,需采用不同的模型评价指标. 一?分类模型 1．混淆矩阵及F1分数 混淆矩阵(confusion matrix)实际是一张表格,因其能够很容易的看出机器学习有没有将样本的类别给混淆,故称之为混淆矩阵,以下为二分类的问题为例,其对应的混淆矩阵如下: 正例为positive,负例为negative

机器学习模型效果评价

一.分类 1.精确率 被识别成正类的,有多少是真正的正类. 2.召回率 真正的正类,有多少等被找出来(召回). 3.准确率 被分类样本总数中,有多少是正确分类的. 4.F1 F1 = 2 * (precision * recall) / (precision + recall) 5.平均精确率(AP)average precision Precision-recall曲线以下面积 6.AUC(area under curve) TP-FP曲线以下面积 二.回归 1.MSE(平均平方误差) 2.R

分类模型评估指标

对于分类模型的评价指标主要有错误率 .准确率.查准率.查全率.混淆矩阵.F1值.AUC和ROC. 1.1 错误率和准确率 错误率(Error rate):通常把分类错误的样本数占总样本总数的比例称为"错误率". 准确率(Accuracy):是指分类正确的样本数占样本总数的比例,即准确率=1-错误率. 1.2 查准率.查全率.混淆矩阵和F1值 查准率(Precision):又称精确率,预测为正例的样本中,真正为正例的比率. 查全率(Recall):又称召回率,预测为正例的真实正例(TP)

C++单一、多重继承下的内存模型

一:C++单一继承下的内存模型: a).最简单的一种单一继承内存模型:基类及派生类中无virtual function member: #include <iostream> class Base { public: Base(char _x = '\0') :m_x(_x) {} ~Base() {} private: char m_x; }; class Derived :public Base { public: Derived(char _x = '\0',int _y = 0,int

001 分类模型评估指标（二）

二分类问题 多分类问题 连续变量问题 二.简单二分类问题的延伸 如果只是简单的二分类问题,只需要一个二分类的混淆矩阵即可对模型进行评估.但如果问题发生如下变化: 情况1:基于同一组数据集多次训练/测试不同的模型 情况2:基于多个数据集测试评估同一个模型 情况3:执行多分类任务 此时,会产生多个不同的混淆矩阵,则需要引入两个新的概念"宏"与"微". (1)"宏": 当产生n个混淆矩阵时,分别计算每个混淆矩阵的Precision,recall,F-m